大模型首Token激活为何巨大?清华北大团队找到梯度调节解释

资讯 AI 应用前沿 全文 2930 字 · 约 8 分钟读完 配图 6 张 分类Transformer大模型

大语言模型中,序列开头的Token常出现注意力汇聚和数值巨大的异常激活。清华与北大团队通过反向传播分析发现,这种“巨大激活”并非冗余,而是通过RMSNorm层衰减局部集中梯度的自适应机制。研究提出V-scale验证了这一假设,为理解Transformer训练动力学提供了新视角。

所属频道 模型发布

大语言模型(LLM)内部有这样一个现象:不管输入什么内容,序列开头那几个 Token(多为起始符或前几个字)总能吸走大量注意力权重。这些位置本身往往没什么实际语义,模型却还是会频频往那边“看”。

这一现象在学术界叫注意力汇聚(Attention Sinks)。

图片

更蹊跷的是,这些被反复关注的位置上,模型内部算出的数值常常大得反常,也就是所谓的巨大激活(Massive Activations)。两者总是结伴出现。以往的研究多集中在前向计算,想看模型怎么处理信息、怎么产出结果,可这两个现象之间到底怎么挂钩,始终没有一个让人信服的说法。

图片

图片

清华大学和北京大学的研究团队换了个切入点。他们没再沿着前向传播往下挖,而是转向训练过程的另一环——反向传播。在一篇已被 NeurIPS 2026 接收的论文里,他们给出了一个反直觉的结论:那些看着不对劲的“巨大激活”并非 bug,它实际是一个被精心设计出来的梯度调节器。

图片

归一化之后,为什么还要那么大?

图片

先说说现代 Transformer 架构里的标配组件:RMSNorm(均方根层归一化)。

图片

主流的 pre-norm 架构中,一个 Token 的隐藏状态在进注意力机制或前馈神经网络(MLP)之前,都要先过一道 RMSNorm。这一步的核心是抹掉向量尺度的影响,只留下方向信息。换句话说,把一个向量的所有数值统一放大 10 倍,经过 RMSNorm 之后,它交给后续子层的输入几乎不变。问题就来了:前向计算里尺度已经被归一化抹平,模型为什么还要费劲训出那么大的激活值?这不是白费功夫吗?

答案或许在反向传播的细节里。前向传播中尺度确实被消掉了,但梯度往回传的时候,这个尺度仍然扮演着关键角色。

注意力管的不只是信息路由,还有梯度路由

注意力机制的运作方式并不陌生:前向计算时,它把不同位置的 Value 向量加权求和。容易被忽略的是,反向传播时,同一组注意力权重同样决定了梯度怎样分回各个位置。

可以拿水流打比方。前向传播时,注意力权重决定信息往哪儿流;反向传播时,它们决定误差信号(梯度)从哪儿流回来。要是大量后续 Token 都高度关注同一个位置(比如首 Token),这些后续位置产生的梯度就会沿着同样的连接汇聚到该位置。

因果注意力掩码(Causal Attention Mask)之下,开头的 Token 能被所有后续位置访问。只要它成了注意力的汇聚点,就自然具备了承接海量反向训练信号的结构条件。

研究团队在从头训练的模型和多款开源大模型上做了测量,结果印证了猜想:RMSNorm 之后的注意力输入处,梯度集中现象普遍存在。首 Token 的梯度范数明显大于其他 Token,通常比其他早期位置的平均值高出一到两个数量级。研究者把这种现象称作梯度汇聚(Gradient Sinks)。

说白了,注意力的汇聚点,就是梯度的汇聚点。

把 Query、Key、Value 三条路径分开拆解,差异更清楚。Key 和 Value 路径在首 Token 处都冒出突出峰值,Value 路径尤其明显;Query 路径则比较平缓。可见局部梯度的集中有明确的路径结构,主要落在 Value 分支上。

巨大激活,是梯度的“减压阀”

两块拼图现在可以合到一起:一边是梯度在首 Token 处剧烈汇聚,另一边是该位置巨大的激活值。二者之间是什么关系?

研究团队注意到,首 Token 的梯度经过注意力子层后会被急剧放大,但最终传回残差流(Residual Stream)的梯度尺度却相对平稳。原因在于,经注意力层汇聚的梯度在穿过 RMSNorm 时被压缩了。

从理论上看,RMSNorm 传梯度有个核心特征:其他条件相同时,输入激活的尺度越大,RMSNorm 收缩反向梯度的能力就越强。更准确地说,RMSNorm 的雅可比矩阵算子范数上界,与输入的均方根尺度成反比。

也就是说,激活尺度成了一种局部的梯度调节手段。某个位置梯度压力过大时,只要该位置的激活值也够大,RMSNorm 就会像一个功率十足的“减压阀”,把传回的梯度强行压小,避免梯度爆炸或训练不稳定。

整条机制链条就这样清楚了:

  1. 注意力向少数位置(如首 Token)集中,Value 路径上的梯度随之汇聚。
  2. 模型在训练中会自发形成较大的残差流激活,以此平衡这种局部高压;这些大激活又通过 RMSNorm 衰减,把分支梯度传回残差流。

这样看,巨大激活并非无意义的噪声,它是模型训练过程中长出来的一种自适应调节结构。

实验验证:为梯度另辟一条通路

上述解释若成立,就能做一项预测:人为给模型提供另一条衰减局部梯度的路径,模型对“巨大激活”的依赖应当减弱。

研究团队据此提出 V-scale 方法:在 Value 投影之后、注意力聚合之前,按 Value 向量的大小做缩放,对范数小的 Value 施加更强的梯度衰减。选 Value 路径,是因为这里的梯度峰值最显著,而注意力汇聚位置的 Value 范数往往偏小。

实验结果与预测吻合。在一个 0.3B 参数量的模型上,引入 V-scale 后,梯度汇聚比值的中位数从约 40.3 降到 5.6;首 Token 的残差流激活范数也明显下降,“巨大激活”现象随之缓解。同时,模型仍保留了明显的注意力汇聚行为——注意力汇聚和巨大激活可以解耦。

为排除前向缩放的干扰,团队还做了只改反向规则的对照实验。结果,仅干预反向传播就取得了同样效果:首 Token 的残差流和 MLP 输出范数变小,注意力汇聚照旧。这为“巨大激活参与调节局部梯度压力”添了一份扎实的实验证据。

重新看模型的“异常”

这项工作的价值不只是解释了两个具体现象,还给出了一种新的研究范式。

以往看到模型里的注意力汇聚或巨大激活,人们多把它当成待优化的缺陷或古怪的副产品。这项研究则提示,这些“异常”或许在训练动力学中起着关键作用:注意力权重既决定前向的信息聚合,也决定反向的梯度路由;归一化层既改变前向表示的尺度,也影响反向信号的传递。

前向与反向合在一起看,才能完整理解 Transformer 内部到底在发生什么。

下回再撞见大模型里那些不合常理的大数值,不妨换个角度想一想:它是不是正在悄悄替模型分担梯度压力,让训练能平稳走下去?


论文信息

  • 题目:Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. TML开源新模型,循环Transformer架构,笔记本就能跑

    编辑|Panda昨晚,黎曼猜想的一份 AI 证明声明,把大模型的推理能力再次推到聚光灯下。Anthropic 数学家 Levent Alpöge 宣称,自己与 Claude 合作找到了证明,并公布了形式化材料。虽然这项声明仍待独立核验,但已经让人们重新追问:AI 究竟能完成多复杂的工作?而刚刚,Thinking Mac

    来源 腾讯网
  2. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  3. 试题经过大模型测试?国家中医药管理局认证中心:未与任何大模型企业合作,亦未开展测评

    IT之家 11 月 22 日消息,11 月 21 日晚,国家中医药管理局中医师资格认证中心通过官方公众号发布声明称,该中心从未公开历年真题,未与任何大模型企业合作,亦未开展测评。 声明称,中心从未以任何形式向社会公开、发布或出售中医类别医师资格考试历年试题(含真题、原题)、参考答案及相关考试资料,亦未授权任何单位或个人

    来源 AI 行业观察
  4. 华中科技大学联手阿里巴巴建AI安全研究中心,首批9个课题启动

    IT之家 11 月 21 日消息,华中科技大学与阿里巴巴集团于 11 月 18 日签署合作协议,聚焦 AI 安全共建“智能攻防与前沿安全联合研究中心”,首批启动 9 个课题。 IT之家获悉,联合研究中心首批启动的 9 个课题,覆盖大模型安全攻防、智能体与终端安全、智能化系统与软件安全、数据协同与隐私保护四大方向,以下为

    来源 AI 行业观察
  5. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  6. Inkling 2 Mini 发布:循环架构让小模型本地跑出中型模型水准

    Thinking Machines Lab 推出的 Inkling 2 Mini 是一个专为本地部署设计的多模态模型。它通过独特的“循环层”架构,用约 260 亿物理参数实现了接近 48 层逻辑深度的推理能力。文章详细介绍了其技术原理、在代码生成和视觉任务上的表现,以及如何在 Transformers、llama.cp

    来源 AI 应用前沿
  7. DeepSeek-VL前负责人张博创业,Simplex AI开源个人智能体Linger

    一位DeepSeek早期核心成员,创业了。 11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。 为了降低普通电脑运行大模型的门

    来源 AI 行业观察
  8. Superfluid 舰队模式:多台电脑连起来跑本地大模型

    本地跑大模型虽隐私安全,但单设备算力有限且易闲置。Superfluid 推出“舰队模式”,能将办公室内不同品牌、不同芯片的电脑(Mac、NVIDIA、AMD等)聚合成一个统一的推理端点。实测显示,六台异构设备协同可将吞吐量提升近五倍,且支持节点故障无缝切换,无需修改客户端代码即可享受分布式算力红利。

    来源 AI 应用前沿
  9. DeepSeek-VL前负责人张博创业:高瓴投600万美元,押注低门槛大模型

    高瓴投了600万美元。一位DeepSeek早期核心成员,创业了。11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。为了降低普通

    来源 腾讯网
  10. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  11. 200万金丝雀潜入AI供应链:数据托管不等于隐私安全

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 行业观察
  12. 姚顺雨谈混元取舍:700B级模型与算力约束下怎么走

    11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队的研究员,在 Reddit 上做了一场两小时的 AMA(Ask Me Anything),收到 300 多条留言。这是混元第一次在开发者社区公开答问。

    来源 网易科技
  13. Anthropic登陆纳斯达克:25位华人员工分享IPO造富盛宴

    AI界的造富故事,正在从创始人为主的一端向内部员工扩散。Anthropic的上市,恰好将这种变化推到了聚光灯下。 11月19日,Claude大模型背后的Anthropic正式登陆纳斯达克。公司IPO发行价为每股83美元,公开发行规模高达813.4亿美元,加上260亿美元的同步私募配售,整体交易规模超过1073亿美元,公

    来源 AI 行业观察
  14. Xiaomi-Lens-0:让AI盯着图里的细节,小米换了种训练方式

    你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个...

    来源 腾讯网
  15. 20个大模型测世界模型:最强GPT-6 Astra仅49.57%,631题全军覆没

    2026年秋天,有一件事挺值得说道说道。一群研究者给20个当下最强的语言模型出了一套题,题目不难理解:给你一段完整的操作记录,告诉你用户刚刚做了什么动作,你来预测这个虚拟世界接下来会变成什么样。听起来像是模型应该擅长的事情,毕竟它们见过海量的代码、数据库操作、游戏逻辑。结果呢?表现最好的模型,也只答对了不到一半的...

    来源 腾讯网
向下滚动自动加载更多