大模型首Token激活为何巨大?清华北大团队找到梯度调节解释
大语言模型中,序列开头的Token常出现注意力汇聚和数值巨大的异常激活。清华与北大团队通过反向传播分析发现,这种“巨大激活”并非冗余,而是通过RMSNorm层衰减局部集中梯度的自适应机制。研究提出V-scale验证了这一假设,为理解Transformer训练动力学提供了新视角。
大语言模型(LLM)内部有这样一个现象:不管输入什么内容,序列开头那几个 Token(多为起始符或前几个字)总能吸走大量注意力权重。这些位置本身往往没什么实际语义,模型却还是会频频往那边“看”。
这一现象在学术界叫注意力汇聚(Attention Sinks)。

更蹊跷的是,这些被反复关注的位置上,模型内部算出的数值常常大得反常,也就是所谓的巨大激活(Massive Activations)。两者总是结伴出现。以往的研究多集中在前向计算,想看模型怎么处理信息、怎么产出结果,可这两个现象之间到底怎么挂钩,始终没有一个让人信服的说法。


清华大学和北京大学的研究团队换了个切入点。他们没再沿着前向传播往下挖,而是转向训练过程的另一环——反向传播。在一篇已被 NeurIPS 2026 接收的论文里,他们给出了一个反直觉的结论:那些看着不对劲的“巨大激活”并非 bug,它实际是一个被精心设计出来的梯度调节器。

归一化之后,为什么还要那么大?

先说说现代 Transformer 架构里的标配组件:RMSNorm(均方根层归一化)。

主流的 pre-norm 架构中,一个 Token 的隐藏状态在进注意力机制或前馈神经网络(MLP)之前,都要先过一道 RMSNorm。这一步的核心是抹掉向量尺度的影响,只留下方向信息。换句话说,把一个向量的所有数值统一放大 10 倍,经过 RMSNorm 之后,它交给后续子层的输入几乎不变。问题就来了:前向计算里尺度已经被归一化抹平,模型为什么还要费劲训出那么大的激活值?这不是白费功夫吗?
答案或许在反向传播的细节里。前向传播中尺度确实被消掉了,但梯度往回传的时候,这个尺度仍然扮演着关键角色。
注意力管的不只是信息路由,还有梯度路由
注意力机制的运作方式并不陌生:前向计算时,它把不同位置的 Value 向量加权求和。容易被忽略的是,反向传播时,同一组注意力权重同样决定了梯度怎样分回各个位置。
可以拿水流打比方。前向传播时,注意力权重决定信息往哪儿流;反向传播时,它们决定误差信号(梯度)从哪儿流回来。要是大量后续 Token 都高度关注同一个位置(比如首 Token),这些后续位置产生的梯度就会沿着同样的连接汇聚到该位置。
因果注意力掩码(Causal Attention Mask)之下,开头的 Token 能被所有后续位置访问。只要它成了注意力的汇聚点,就自然具备了承接海量反向训练信号的结构条件。
研究团队在从头训练的模型和多款开源大模型上做了测量,结果印证了猜想:RMSNorm 之后的注意力输入处,梯度集中现象普遍存在。首 Token 的梯度范数明显大于其他 Token,通常比其他早期位置的平均值高出一到两个数量级。研究者把这种现象称作梯度汇聚(Gradient Sinks)。
说白了,注意力的汇聚点,就是梯度的汇聚点。
把 Query、Key、Value 三条路径分开拆解,差异更清楚。Key 和 Value 路径在首 Token 处都冒出突出峰值,Value 路径尤其明显;Query 路径则比较平缓。可见局部梯度的集中有明确的路径结构,主要落在 Value 分支上。
巨大激活,是梯度的“减压阀”
两块拼图现在可以合到一起:一边是梯度在首 Token 处剧烈汇聚,另一边是该位置巨大的激活值。二者之间是什么关系?
研究团队注意到,首 Token 的梯度经过注意力子层后会被急剧放大,但最终传回残差流(Residual Stream)的梯度尺度却相对平稳。原因在于,经注意力层汇聚的梯度在穿过 RMSNorm 时被压缩了。
从理论上看,RMSNorm 传梯度有个核心特征:其他条件相同时,输入激活的尺度越大,RMSNorm 收缩反向梯度的能力就越强。更准确地说,RMSNorm 的雅可比矩阵算子范数上界,与输入的均方根尺度成反比。
也就是说,激活尺度成了一种局部的梯度调节手段。某个位置梯度压力过大时,只要该位置的激活值也够大,RMSNorm 就会像一个功率十足的“减压阀”,把传回的梯度强行压小,避免梯度爆炸或训练不稳定。
整条机制链条就这样清楚了:
- 注意力向少数位置(如首 Token)集中,Value 路径上的梯度随之汇聚。
- 模型在训练中会自发形成较大的残差流激活,以此平衡这种局部高压;这些大激活又通过 RMSNorm 衰减,把分支梯度传回残差流。
这样看,巨大激活并非无意义的噪声,它是模型训练过程中长出来的一种自适应调节结构。
实验验证:为梯度另辟一条通路
上述解释若成立,就能做一项预测:人为给模型提供另一条衰减局部梯度的路径,模型对“巨大激活”的依赖应当减弱。
研究团队据此提出 V-scale 方法:在 Value 投影之后、注意力聚合之前,按 Value 向量的大小做缩放,对范数小的 Value 施加更强的梯度衰减。选 Value 路径,是因为这里的梯度峰值最显著,而注意力汇聚位置的 Value 范数往往偏小。
实验结果与预测吻合。在一个 0.3B 参数量的模型上,引入 V-scale 后,梯度汇聚比值的中位数从约 40.3 降到 5.6;首 Token 的残差流激活范数也明显下降,“巨大激活”现象随之缓解。同时,模型仍保留了明显的注意力汇聚行为——注意力汇聚和巨大激活可以解耦。
为排除前向缩放的干扰,团队还做了只改反向规则的对照实验。结果,仅干预反向传播就取得了同样效果:首 Token 的残差流和 MLP 输出范数变小,注意力汇聚照旧。这为“巨大激活参与调节局部梯度压力”添了一份扎实的实验证据。
重新看模型的“异常”
这项工作的价值不只是解释了两个具体现象,还给出了一种新的研究范式。
以往看到模型里的注意力汇聚或巨大激活,人们多把它当成待优化的缺陷或古怪的副产品。这项研究则提示,这些“异常”或许在训练动力学中起着关键作用:注意力权重既决定前向的信息聚合,也决定反向的梯度路由;归一化层既改变前向表示的尺度,也影响反向信号的传递。
前向与反向合在一起看,才能完整理解 Transformer 内部到底在发生什么。
下回再撞见大模型里那些不合常理的大数值,不妨换个角度想一想:它是不是正在悄悄替模型分担梯度压力,让训练能平稳走下去?
论文信息
- 题目:Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers