语言模型里的巨大激活值：谁把它养大，谁让它停下

训练完成的语言模型内部，会不会潜伏着几个"暴君"？

这里的暴君不是打比方，而是字面意思：某些数字的大小，能顶得上周围同类数字的几百倍乃至几千倍。它们待在固定位置，输入内容换了又换，数值几乎不动，活像神经网络里一群不肯合群的异类。

这种情况并非研究者的凭空猜测。几乎每一个被检查过的Transformer模型里，都能看到它。研究者给这个现象起了名字，叫

**巨大激活值**：在 Transformer 模型里，个别坐标的数值会远远高于普通激活值，这就是所谓巨大激活值；它们往往聚集在某个特定的 token 位置上，而且数值大小基本不随输入内容改变。

这些巨大激活值属于features，并非bug。把它们拿掉，模型质量就会下滑；低精度训练和推理也最怕它，因为普通量化方法根本装不下这么悬殊的数值跨度。还有一层联系更关键：它和另一个被反复讨论的现象绑在一起，叫

**注意力汇聚点**：Transformer在自回归生成时,后面几乎所有token都会把一部分注意力权重分配给序列最前面某个信息量很小的token(通常是第一个token),这个现象被称为注意力汇聚

这篇论文要搞清楚的是：巨大激活值这一生都经历了什么。它何时诞生？谁定下了它的个头？又是什么力量让它不再长大，甚至开始萎缩？

问题听着抽象，答案却牵出一条意外线索：权重衰减。训练模型时大家早就用惯了这个超参数，平时几乎不会多看一眼，结果它一直在幕后左右着这群"暴君"的起落。

此前的研究只讲了一半

在这篇论文之前，已有两条线索指向巨大激活值的秘密，可两条都只交代了故事的一半。

第一条来自陈等人2026年的工作。他们给出了一套很漂亮的机制解释：巨大激活值为什么有用？在因果掩码之下，序列最前面的token会被后面所有位置关注，于是所有后续位置传回来的梯度都得由它接住，它就成了一个

**梯度汇聚点**：由于被大量后续token关注,某个token在反向传播时会聚集大量梯度,这个位置被称为梯度汇聚点

可梯度一多，训练就不稳。巨大激活值恰好能压住这个问题：归一化层反向传播的雅可比矩阵里天生带一个1/rms(x)的衰减因子，激活值越大，回传的梯度就越小。说白了，它像个减压阀，把本该汹涌而来的梯度洪流硬生生拧小。

解释虽漂亮，给出的却只是一个下限条件：激活值大到一定程度，梯度就能被压到目标范围以下。它只管下限，不管上限，方向是单向的。巨大激活值会不会一路涨下去、哪天又掉头往下，这个解释没回答。

第二条线索来自Gallego-Feliciano等人2025年的另一项研究。他们发现巨大激活值在训练中的增长曲线极有规律，一个五参数公式就能精确拟合，拟合优度高达0.984。这条曲线画出了巨大激活值"长成什么样"，至于"为什么长成这样"，它一个字没讲。

一条讲约束，一条讲曲线。这篇论文要做的，就是把两条线接起来，找出背后那只真正驱动增长、决定转折点、决定谁活下来的手。

巨大激活值落在哪个token上

要把这个故事讲清楚，得先弄明白几个基本概念。

如今的大语言模型多半是decoder-only的Transformer，每层由残差连接包裹的注意力和MLP模块组成，信息从输入一路累加到输出，这叫

**残差流**：Transformer 每一层的输出都会经残差连接加到原来的隐藏状态上，信息就这样一层层累加起来，形成残差流；巨大激活值真正“居住”的地方正是这里。

残差流上，每个token、每个维度都有一个数值，研究者口中的"激活值"就是这个。巨大激活值几乎总落在某个特定token位置上，这个位置叫"汇聚位置"。它不一定就是序列的第0个token——研究者是看谁的激活值最大来反推汇聚位置，并没有先入为主地认定第一个词。

衡量巨大激活值，研究者用了三把尺子。第一把是单个通道的绝对数值，简单直接。第二把是最大值除以中位数得到的比值，前人研究常拿它当指标。第三把是整个token所有维度的均方根，也就是rms(x)，陈等人梯度理论里真正起作用的正是这个量。

三把尺子看着都在测同一件事，实际上经常互相打架。比值的分母是中位数，而中位数在训练过程中会一路往下掉。于是就出现一种怪局面：巨大激活值的绝对数值明明在降，可中位数掉得更快，比值反倒继续往上爬。论文里确实观测到了这种现象，它也提醒人们：拿哪个指标讲故事，讲出来的版本会完全不同。

梯度衰减看的是全局，不是某一个数字

陈等人的理论把梯度衰减和rms(x)绑在一起，可rms(x)算的是整个token全部维度的集体属性，并非巨大激活值那一个通道单独撑起来的。为了验证这一点，这篇论文安排了一组消融实验。

做法不复杂：先找出巨大激活值所在的那一层，把它单独清零，记下清零后token的rms和反传梯度各有什么变化；随后再分别清零其他几个“次大”的通道，同样记录一遍。假如梯度衰减真的只认rms(x)，那么不管清零的是哪个通道，梯度乘上rms都应该稳定在一个常数附近。

实验结果正是这样。清零巨大激活值之后，梯度乘以rms得0.94；清零其他大通道，乘积落在0.89到0.95之间，差不多是同一个区间。另一处更值得琢磨：单独清零巨大激活值，整个token的rms只下降约5%，可见它并不是rms的唯一来源，只是贡献偏大的几个通道之一。

打个比方，这像合唱团调音量。若以为整首歌的响度全靠领唱一人，把领唱静音，歌应该立刻变轻。可实验给出的是：领唱静音后音量只掉5%，因为还有一群声部在下面一起托着整体音量。歌曲响度说到底由整个合唱团的集体输出决定，而非某一条嗓子。误判成领唱独撑全场，就可能把力气全花在控制那一个人身上，结果其他声部早已悄悄补位，白忙一场。

由此可以推出一条：不少看上去是“巨大激活值专属”的现象，很可能只是“数值足够大”就会出现的现象。研究者接着专门验证了这一点。

看起来专属，其实只是数值大

扰动实验分两步：先把巨大激活值强行清零，看训练继续后它会不会被“修复”回来；再把它强行放大两倍，看它会不会被“拉”回原来的轨道。结果两者都发生了——清零的重新长回来，放大的被拉回去，而且修复力度明显强过对照组里的随机通道，乍看之下真会以为巨大激活值地位特殊。

不过这个对照组本身存在一个漏洞：随机挑的通道，数值原本就比巨大激活值小很多。拿数值小的东西去和数值大的东西比修复力度，这样的比较从一开始就不公平。

研究者于是换成数值匹配的对照方式，比较两种操作：一种单独放大巨大激活值，另一种把排名前16的通道按比例一起放大。两种操作制造的rms增量一样大，但前者对token方向的扭曲程度是后者的11倍，后者基本不改变方向。

假如巨大激活值真享有特殊待遇，这两种操作引发的“拉回”反应就该不一样。实验数据却显示，两者去除超额rms的比例几乎持平，分别为73%和71%。起作用的其实是rms总量的变化，方向扭不扭曲关系不大。作为对比，一个随机小通道的拉回比例只有20%左右。

这说明，所谓“巨大激活值专属调控”，本质来自“大数值”这个属性，而非它恰好处在那个特定位置上。归一化增益也是如此，它和其他同等量级的大通道一样受到抑制，并没有被单独针对。

好比班里成绩最拔尖的学生，老师对他格外严格。乍看像老师专门针对他，可把全班前八名摆在一起看，老师对所有排名靠前的学生都一样严格，只是他恰好排第一，显得特别扎眼。少了这个前八名的对照，很容易误以为老师在针对某一个人，进而得出错误的因果结论。

换个随机种子，巨大激活值就换人做了

论文里一个让人意外的发现是：巨大激活值落在哪个通道上，其实是随机的。

研究者训练了一个5100万参数的小模型，换一个随机种子，主导通道就从207号变成263号。再看已发布的Pythia-410m模型，三个不同种子的版本里，排名前三的汇聚通道完全没有重叠。通道数量（一到三个）、出生的层数、汇聚位置，统统随种子变化。

**Pythia**：由EleutherAI开发的一系列开源大语言模型,参数规模覆盖7000万到69亿,并公开了训练过程中约150个中间检查点,是研究训练动态的常用对象

但只要某个通道在早期竞争中胜出，它的身份就迅速稳定下来，不再轻易变动。在Pythia-410m里，最终胜出的前三个通道从大约4000步起就稳稳占据前三名，一直保持到14.3万步训练结束。那个5100万参数的小模型里，主导通道经历过221号到308号再到207号的几次易位，大约5000步之后彻底锁定，此后换十段完全不相关的文本去测，胜出的通道身份都没变过。

这个过程很像抢座位游戏。音乐停下的那一瞬间谁坐上椅子是随机的，可一旦坐下，这个人就一直占着座位，直到游戏彻底结束都不再换。缺少这种早期锁定机制，模型每次推理可能都得重新决定谁来当“汇聚点”，整个系统会变得极不稳定。锁定机制保证了同一个模型面对不同输入时，行为一致且可预测。

权重衰减才是幕后真正的操盘手

接下来是全文最核心的发现：全局激活规模（即中位数绝对值）的走向，完全由权重衰减这一个超参数决定。

**权重衰减**：这是训练优化器时常用的一种正则化方式，每步更新都会按比例把权重往零的方向压一压，为的是不让权重一直变大、让泛化表现更好，这个系数用λ表示

研究者从一个接近峰值的检查点出发，分出两条continuation路径，一条保留权重衰减，一条关掉。关掉权重衰减后，全局激活规模继续往上爬。保留权重衰减，哪怕学习率固定不变，全局规模也会掉头下降，幅度为-11%；再加上学习率衰减调度，下降幅度会放大到-18%。

这意味着什么？巨大激活值的衰退，原因不在学习率下降导致训练变弱，而是权重衰减这个力量在主动把它往回拉。

研究者还做了剂量反应实验，把权重衰减系数λ在0.05、0.1、0.2、0.4几个档位之间调节，记录巨大激活值达到峰值时的训练步数。结果显示，峰值出现的时间点和λ的对数呈近似线性关系，相关系数达到-0.985，衰减系数越大，峰值来得越早。而λ等于0时，观测窗口内压根不会出现峰值，它会一直往上涨。

还有一点更直观：峰值那一刻，巨大激活值能达到多高，基本跟λ的-1/2次方成正比。

拿给气球打气来类比就明白了。一边是打气筒往里灌（梯度推着涨），一边是放气阀往外泄（权重衰减系数），两股劲在较劲。阀门拧得越开，气球能吹到的极限尺寸就越小，撑爆的时点也跟着提前。要是压根没装放气阀，气球就一直鼓下去，除非你停手不打了——λ=0时看到的就是这个画面：峰值压根不出现，只有一路往上走。

增长与衰减的拉锯，可以用一个平衡方程来刻画

围绕这个现象，研究者搭了一套理论框架。其核心判断是：巨大激活值有多大，取决于把它写进去的那部分权重的范数，而写入权重靠的是

**AdamW**：深度学习里常用的一种优化器，把Adam的自适应梯度调整和解耦的权重衰减合在一起，更新公式中梯度和衰减项各算各的

来更新。这套框架里有个关键量，叫

**维持力**：它定量刻画损失驱动的梯度顺着权重自身方向施加的推力有多强，是一个归一化后的分数增长率，可以直接拿来和权重衰减系数λ比大小

维持力高过λ，通道就往上走；低于λ，通道就往下掉。巨大激活值冲到峰值的那一刻，正好是维持力与λ相等的瞬间——一个精确的平衡点。

坑就在这里。研究者先测了未经预处理的原始梯度所构成的维持力，量级只有大约万分之一，跟Pythia用的λ=0.01差着老远。照这个数算，大通道的队伍根本立不住，早该被权重衰减压垮了。

真正把队伍撑住的，是AdamW的二阶矩归一化。一个持续但很弱的梯度信号，过了二阶矩归一化这道工序，能被抬高好几个数量级。处理完之后，大通道队伍的维持力才算站到了衰减阈值上面，而随机通道的维持力仍旧趴在零附近。

这有点像一个人常年坚持小额定投。单看他每天存的那点钱，少到几乎可以不计，放银行吃活期利息根本跑不赢通胀。可要是有一套特殊的复利机制，把这些微小却稳定的投入长期放大，最后滚出来的资产规模会远超想象。那套“复利机制”就是AdamW的二阶矩归一化——持续但微弱的信号，被它转成了实打实能扛衰减压力的力量。少了这层处理，只看原始数字，谁也想不到这些微弱梯度竟能撑起整个巨大激活值的生存。

研究者还通过拟合，把维持力随数值增大而衰减的规律定了下来，指数是-1。也就是说，数值越大，边际维持力越弱，每再长一点都更费劲。这跟经济学里的边际效用递减有些相似：早期涨得猛，后期越来越吃力，最后被衰减力反超，峰值和下降随之而来。

要说清楚的是，这个平衡方程只覆盖了“涨到峰值”那一段，下降阶段是另一码事。研究者细查后发现，巨大激活值往下走的时候，写入它的权重范数其实还在变大，并没有缩。换句话说，激活值变小不是因为权重变小，而是同样大小的权重，产出的激活值变少了。这个比例关系为什么会松掉，论文老老实实留了空白，没硬给答案。

巨大激活值，从来不是单打独斗的个体

把时间线拉长，看Pythia-410m的训练轨迹，能看出一个清楚的此消彼长过程。从16000步到14.3万步，排前三的“赢家”通道走的是先涨后小幅回落的曲线，排4到12的“中间层”通道则在不同时点陆续悄悄崩掉。前三名占整个汇聚token平方范数的比例，从最初的55%一路升到99%。

这可不是“总量守恒、此消彼长”那种简单再分配。整个token的rms总量本身也是先涨后跌，赢家涨上去的那部分，大约是中间层退下来的2.9倍，数字对不上。

汇聚机制还有个特性值得留意：它冗余度很高。研究者单独把某个胜出通道清零，汇聚token拿到的注意力权重只掉0.004到0.015，几乎看不出动静。可要是一次把排名前三的通道全清零，注意力权重会猛掉0.08，大约是单独清零效果加总的3倍，属于超加性。随机通道清零则基本没影响。

这好比一套带多重备份的供电系统。单独切一条输电线，城市照转，别的线路能顶上。可要一口气切断好几条关键线路，整个片区会突然大面积断电，而且断电规模比单条线路影响相加还大——备份之间原本还互相分担着负载，切得太多，冗余结构本身被破坏，崩起来比预想的狠。这也解释了为什么巨大激活值从来不是孤胆英雄，而是一个有备份、能互相兜底的小团队。

巨大激活值能不能“立起来”，规模和训练时长一起说了算

研究者还核对了一个前提：要做数值匹配的对照实验，先得确保真存在数值相近的其他通道可供比较。

他们拿从头训练的小模型和不同规模的Pythia模型（7000万到69亿参数）做了对比。两个系列都表明，参数规模越大，最大值和中位数的分离程度越高。但从头训练的小模型步数远远不够，数值分布还是个连续体，看不出明显断层；训练充分的Pythia模型则不同，少数几个大通道和一个坍缩的基础群体之间，裂缝清清楚楚。

研究者另外测了一个叫“隔离度”的指标，指的是排序后相邻通道数值比值中最大的那一跳。Pythia-410m和1.4B模型刚开训时隔离度接近1，说明数值是连续分布的；训到14.3万步，Pythia-410m的隔离度涨到大约17，说明少数通道已经彻底跟主体脱开了。

更微妙的地方在于，分离度（最大值除以中位数）和隔离度（断层跳跃）这两个指标，发展节奏完全两样。分离度大约1万步上下就基本稳住了，隔离度却一路涨到训练结束。这意味着数值变大和“少数通道跟多数通道彻底拉开”是两件各自独立的事，不能混着谈。

这个未解之谜，就留给读者了。

论文作者也直言，有个关键问题他们没能回答：在那个赢家小团体里，最终谁活下来、谁崩掉，究竟由什么决定？

他们逐一排除了几种可能。崩溃中的通道，写入权重的梯度并没有像1/rms那样下降，梯度范数乘以rms的乘积反倒涨了1.5到2倍，梯度量级与存活通道差不多。换种子重跑7000万和1.6亿参数的模型，存活通道的数量同总注意力汇聚程度之间基本不相关（相关系数接近0），可见并不是靠一个固定的“注意力配额”来决定能活几个。总汇聚rms同样不是守恒量。甚至某个存活下来的通道，在某些留出文本上测出的维持力居然是负的。

排除法把问题钉得更死，最终答案却仍没给出。研究者诚实地写下：这个机制依然未解。

写在后面

通读这篇论文，让我停下来想了很久的细节，是巨大激活值衰退阶段那个反直觉的发现：权重没有缩小，激活值却在变小。

这个发现挑战了我原本觉得理所当然的假设。权重衰减这个名字本身就暗示“权重会被衰减掉”，大多数人（包括我）下意识会认为激活值下降就意味着权重在收缩。论文用实际测量打破了这个直觉：同样大小的权重，产生的激活值变少了，中间一定有什么关系的松动，可论文没讲清是什么。这种“诚实地留白”反倒比硬给一个解释更让人信服，因为不少论文为了显得完整，会凑一个听起来合理、其实没验证过的机制。

另一个值得单独说的细节，是通道身份的随机性。换一个种子，巨大激活值就换了个完全不同的通道来扮演。这意味着，如果你想研究或者干预某个具体的“问题通道”，针对性抑制它可能根本没用，因为这个角色会在别的坐标上重新长出来。对想通过量化或剪枝解决巨大激活值问题的工程师来说，这是个很实际的提醒：别盯着某个具体编号的通道做手术，该盯的是整个token的集体规模。

论文结尾那句话我印象很深：巨大激活值不是一个享有特权的架构坐标，而是训练过程挑选出来的、为集体汇聚机制服务的贡献者。这话听着平淡，背后的实验链条却相当扎实。它把一个看似“玄学”的现象，拆成了一场由权重衰减和优化器预处理共同主导、还带点随机性的竞争过程。

那个没解开的谜题——赢家和输家在维持力上为什么会重叠、却走向不同命运——或许才是接下来最该追问的。会不会有一种更细粒度的信号，藏在我们还没想到去测量的地方？

Q&A

Q1：巨大激活值是什么，为什么它值得研究？

A：巨大激活值指的是Transformer模型残差流中少数坐标数值远超普通激活值（可达几百甚至几千倍）的现象，通常固定在某个token位置。它们与注意力汇聚机制紧密相关，移除会导致模型质量下降，同时是低精度训练和推理的主要障碍，因此理解它的产生、增长和衰退机制对模型优化很重要。

Q2：权重衰减和巨大激活值的峰值有什么关系？

A：论文指出，巨大激活值的峰值何时出现、能到多大，都由权重衰减系数λ直接决定。保留权重衰减，激活值规模就会降下来；一旦去掉，它便会一路往上走。峰值出现的时间同λ的对数大致呈线性关系，峰值大小则约与λ的负二分之一次方成正比。说到底，这是AdamW里预处理带来的增长力和权重衰减产生的拉力在相互制衡。

Q3：巨大激活值总是固定在同一个通道上吗？

A：并非如此。论文发现，只要换一个训练随机种子，巨大激活值落在哪个具体通道就会彻底变样——不同种子下，Pythia-410m模型排在前三的汇聚通道毫无重叠。可某个通道一旦在训练早期占了上风，它的身份很快就固定住，并能长期维持。也就是说，通道身份是随机冒出来的，但在早期就被锁定了。