清华团队发现:混合架构大模型里,注意力层常被线性循环层压制

资讯 腾讯网 作者:科技行者 全文 4919 字 · 约 13 分钟读完 分类KimiGLMGLM-5.3-Flash月之暗面大模型

2026 年前后,如果你去翻开几家顶尖 AI 公司的技术报告,会发现一个共同的选择:Kimi K3、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron-3-Ultra,这些叫得上名号的大模型,几乎都用上了同一种架构套路,把线性循环层和传统的 softmax 注意力层混在一起用。这事儿听起

所属频道 模型发布开源生态国产大模型

2026 年前后,翻看几家顶尖 AI 公司的技术报告,会看到同一个取向:线性循环层与传统 softmax 注意力被放进同一个模型里搭配使用。

这事听着技术味很浓,道理却说不上复杂。

softmax 注意力*:Transformer 中最典型的信息混合手段。生成每个词时,它都要把前文所有词回看一遍,算力开销随文本长度呈平方级上涨,换来的是很高的检索精度。

线性循环层*:其中包含

说白了,softmax 注意力记得准,可费脑子;线性循环层反应快,记性却平常。把两类层混着用,乍看是取长补短的好买卖。不少论文也的确观察到,训练完成后模型内部会出现分工:一些注意力头专门负责远距离取信息,另一些循环层管眼前的短程细节。这种分工被称作

可疑问跟着就来了:这样的分工是水到渠成,抑或是一场暗地里的较量,而较量的结局对模型未必是好消息?

清华大学的研究团队给出的答案出人意料:较量真实存在,并且在多数标准训练流程下,吃亏的那一方恰恰是人们最盼着胜出的 softmax 注意力。

**

**

一场没人留意的内部角力

要弄懂这篇论文的核心结论,先得回答一个挺直觉的问题:模型里同时装了线性循环层和注意力层,让它们各自去学远距离信息检索,两者会不会彼此添乱?

研究者把这一现象称为

打个比方,班里两个学生一起订正同一道题。老师的要求是全班对答案,谁先举手答对,老师就不再追问旁人,这道题的“学习信号”随之消失。学得快的那个若回回抢着举手,另一个哪怕本可以把这类题型吃得更透,也始终等不来被逼着动脑的机会。日子一长,后者在这类题上只会越来越弱,原因不是他笨,而是他从没被真正练过。

假如没有这种竞争,两类层本该各按各的节奏独立习得检索本领,强弱只取决于架构自身的禀赋。研究却发现并非如此:一层的学习进度会直接压住另一层,是此消彼长的零和博弈,而非各行其是的独立成长。

为了让这个抽象现象变得可观察、可量化,研究团队搭了一个干净的实验场。

一个专测说谎的任务

他们造了一个叫“

任务被刻意做得极简,不含语法,也不含语义,只考验模型能否跨过一段距离把信息原样捞回。这段“距离”的长短由研究者调节,短的只隔 64 个位置,长的隔到 8192 个位置,用以模拟短程模式与长程模式在真实语言中出现的比例差异。

只给任务还不够,研究者还得弄清模型里究竟是哪一层在承担这次检索。

为此他们设计了一套

替换之后,若模型本该答“1”却开始偏向“9”,就说明该层在检索上分量很重,换言之它确实在出力。若替换后最终答案纹丝不动,则说明这层对检索毫不在意,职责在别处。

这套做法好比在一条流水线上,偷偷把某个工位的半成品换成别的批次,再看成品会不会出岔子。一换成品就露馅,说明该工位是关键工序;换了没人察觉,说明它无关痛痒。若不这么做,人们只能笼统断言“模型整体检索强不强”,永远说不清是哪一层在立功,也就无从做针对性干预。

实验数据给出的说法

研究团队训练了一批仅 360 万参数的小型混合模型,2 层 KDA(当下流行的一种线性循环架构)加 2 层注意力,专门跑这个

Kimi Delta Attention (KDA)

不做任何干预时,结果相当直白:KDA 层很快在检索能力上占得上风,注意力层的检索分数始终被压得很低,几乎没见涨。

训练推进到某个时间点,研究者把KDA层的参数冻住,不再更新,注意力层则接着训练。这一步成了转折点。

冻结一发生,注意力层的检索能力就开始陡峭爬升。冻得越早,注意力层最后能达到的检索水平越高;冻得晚,它仍旧被KDA层压着。研究者还试了另一种做法:先冻住KDA,训练一段时间后再解冻。

结果分成了两种走向。冻结足够早的话(大约在第125步之前),后来解冻KDA,注意力层已经攒下的优势会继续巩固,反过来压制KDA;冻结太晚,优势还没真正立起来,一解冻,注意力层马上又被KDA反超。解冻之后没多久,两条曲线就分道扬镳。

这背后是一种自我强化机制。研究者进一步查看了梯度变化,发现在KDA被冻结期间,注意力层收到的

好比一场拔河,哪边先稍微占点上风,裁判(也就是优化过程本身)就会不自觉地给这边鼓劲,这边的力气越拔越大,另一边迟迟使不上劲,力气反而逐渐萎缩。不加干预,先发优势会被不断放大,最后形成赢家通吃的局面。研究者想避免的恰恰是这个结局,他们希望两边各展所长,而不是一方彻底压死另一方。

为什么KDA总是先手

问题也就来了:先赢的为什么是KDA,而不是注意力层?

研究者的解释很直接,跟KDA的架构设计本身有关。KDA的

研究者还专门做了一组实验,调整训练数据里短距离样本和长距离样本的比例,看这个比例怎么影响胜负。结果很清晰:长距离样本占绝对主导时,注意力层会成为检索能力的主力;但只要短距离样本不是少数派,KDA几乎总能抢占先机。

放到真实世界的语言数据里,这个发现的分量更重。此前已有语言学研究表明,自然语言中短距离的依赖关系(比如相邻词语的搭配)远比长距离依赖(比如段落开头和结尾的呼应)更常见。也就是说,用自然语料直接训练混合模型,大概率会复现实验室里看到的现象:KDA先一步学会短距离的“检索”,进而压制住注意力层本该承担的长距离检索职责,造成分工失衡。

反观纯Transformer架构,这个问题并不存在。各层结构完全一致,起点相同,架构上分不出谁先谁后。混合架构靠的“杂交优势”,同时也成了它独有的“内耗隐患”。

一个很朴素的解决方案

根源找到了,解决思路也就顺理成章。既然KDA天生手快,那就在训练最开始的阶段故意把它的手绑一会儿,让注意力层先跑一段,等它建立起足够的优势,再放开手让两边一起跑。

研究者把这个方法叫做BLD(

做法是这样的:正式大规模预训练启动前,先插入一个规模较小的热身阶段,数据量约占整体的十分之一。这一阶段里,KDA层的全部参数(混合层、MLP、归一化层都算)都被冻结,只有注意力层和部分共享参数(例如词嵌入)能收到梯度更新。等热身跑完再解冻KDA,转入正常的完整预训练,这时两边的参数才都能自由更新。

这就像田径场上的让跑式起跑:明知道一方天生爆发力更强,干脆让另一方先出发一段距离,等双方真正并肩竞速时,弱势的一方已经攒够了先发优势,不会一上来就被秒杀出局。不这样安排的话,起跑枪一响,天生速度快的那一方立刻把差距拉开,后面基本就追不上了。

团队将该方法应用于1.8亿到10亿参数的一系列模型,这些模型均基于KDA架构,训练用的是公开的高质量预训练语料

真实训练结果怎么样

效果体现在好几个维度上。

先看语言建模损失,这是衡量模型预测下一个词准不准的基础指标。在180M到1B的所有测试规模上,BLD方法训练出的模型损失都低于原版,且这一优势随模型增大并未消失。10亿参数下,BLD的损失为2.8680,原版为2.8744,差距看着不大,可在语言模型里,这种稳定的小幅改进通常对应着整体能力的系统性提升。

再看常识推理能力(CSR,涵盖ARC、HellaSwag、PIQA等七个经典测试集),BLD方法在大部分规模下也略有提升,比如10亿参数模型从48.69提升到49.45。

真正的大头出现在检索相关的任务上。在六个检索密集型任务组成的评测集(Recall)里,BLD方法的提升非常显著。拿250M规模来说,原版只有21.54分,BLD达到25.33分,提升了接近4个百分点,这意味着原本每答对4道检索题,BLD版本能多答对将近1道。到了180M这个最小规模,差距更夸张,原版只有10.39分,BLD达到14.12分,接近提升了36%。

RULER

在

语言建模困惑度(

团队还针对位置做了损失分析,把模型在16K长度文本中各个位置上的预测损失绘成曲线。结果发现,BLD模型在文本靠后的位置损失明显更低,这表明它更善于利用远距离的上下文,而非只在短距离内徘徊。

研究者并未止步于KDA这一种架构,他们把同样的思路移植到另外两种主流线性循环架构上,想看看效果是否依然成立。

分工的位移,这回是直接用眼睛看到的。光看指标数字终归有些抽象,团队又补了一组可视化分析,把注意力头内部的运作状态摊开来观察。

他们沿用了此前DuoAttention研究中的做法,为每个注意力头训练一个α值。原版模型里,α值明显突出的头只有一个,其余基本都贴近零——整个模型真正扛起长距离检索任务的,就这么一个孤零零的节点。BLD模型则不然:多个α值偏高的头分布在不同的层中,说明更多注意力头确实学会了专注提取远距离信息。

消融实验更能说明问题。研究者按α值从小到大,逐个把注意力头换成只能看局部信息的流式模式,再观察检索准确率如何变化。原版模型几乎从一开始就崩:唯一那个高α头一被替换,准确率立即掉到接近零。BLD模型则表现出很强的韧性,前四分之三的头被替换掉都几乎没影响,直到最后三个高α值的头被动到,准确率才骤然下滑。

这个现象可以这么理解:原版模型好比一个团队里只有一个人真正懂业务,其他人都是摆设,这人一请假,整个团队就瘫痪。BLD模型培养出的是一支至少三人的核心骨干队伍,某个人暂时不在,剩下的人还能撑住场面。若没有刻意安排这个热身阶段的干预,团队里永远只会冒出一个孤胆英雄,其余人才始终得不到真正锻炼的机会。

写在后面

这篇论文读下来,让我印象最深的并非BLD方法本身——方法说起来其实很朴素,无非是“先让一方跑一会儿再放开手”。真正出乎意料的是,这种此消彼长的竞争关系,此前几乎没有被认真量化过。混合架构里会出现分工,这一点大家都知道,但很少有人去追问:这个分工究竟是自然形成的最优解,还是被先发优势意外锁死的次优结果?

还有一个细节值得单独拎出来说。研究者在解释KDA为何总是先手时,给出的原因相当技术性,

这件事也让我联想到一个更普遍的问题:任何系统,只要多个子模块共同争抢某种有限资源——不管是梯度信号、注意力,还是团队里的话语权——先发优势都可能被不成比例地放大,最终让本该存在的多样性消失殆尽。论文给出的解法,无非是刻意制造一个“延迟赛跑”的窗口期,这个思路是不是也能搬到别的领域去用呢?

Q&A

Q1:竞争学习现象是什么?

在混合架构大模型的预训练过程中,循环层与注意力层都会慢慢掌握从上下文里提取信息的本事。可一旦其中某一类层先学成,检索相关的预测误差就被它压了下去,另一类层能拿到的训练信号随之变弱,学起来更慢。说到底,两边的分工因此走向失衡。

Q2:BLD 方法具体怎么操作?

A:BLD(

Q3:BLD 方法只对 KDA 架构有效吗?

A:不是。研究团队还在 Gated DeltaNet 和 Gated Linear Attention 两种循环架构上验证了 BLD,同样取得了显著提升,比如 GDN 架构下 Recall 分数从 17.33 提升到 32.05,说明这个方法对不同线性循环架构都适用。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Kimi转向AI for Science:编程之后,下一个落点是科学研究

    一些迹象显示,Kimi 要往 AI for Science 方向发力了。近日,月之暗面(Moonshot AI)国际业务负责人贾科莫·菲卡里(Giacomo Ficari)在葡萄牙里斯本举行的网络峰会上,谈到了该公司在编程之外看好的下一个方向:科学研究。他提到,过去几年,编程是推动市场需求增长的重要场景,而生物学、化学

    来源 腾讯网
  2. GLM-5.3推理缓存实测:p99延迟从3.96秒涨到17.3秒

    你肯定听过这句话:计算机世界里,读缓存永远比重新算一遍快。这几乎是所有工程师的本能直觉,就像你不会把算过的数学题再算一遍,而是直接抄答案。但有一组工程师发现,这个直觉在他们的系统里彻底失灵了。他们在给一个叫GLM-5.3的大模型做推理服务,这是一个超大规模的混合专家模型MoE:混合专家模型,一种让模型的不同部...

    来源 腾讯网
  3. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  4. 20个大模型测世界模型:最强GPT-6 Astra仅49.57%,631题全军覆没

    2026年秋天,有一件事挺值得说道说道。一群研究者给20个当下最强的语言模型出了一套题,题目不难理解:给你一段完整的操作记录,告诉你用户刚刚做了什么动作,你来预测这个虚拟世界接下来会变成什么样。听起来像是模型应该擅长的事情,毕竟它们见过海量的代码、数据库操作、游戏逻辑。结果呢?表现最好的模型,也只答对了不到一半的...

    来源 腾讯网
  5. Xiaomi-Lens-0:让AI盯着图里的细节,小米换了种训练方式

    你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个...

    来源 腾讯网
  6. DeepSeek-VL前负责人张博创业,Simplex AI开源个人智能体Linger

    一位DeepSeek早期核心成员,创业了。 11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。 为了降低普通电脑运行大模型的门

    来源 AI 行业观察
  7. 试题经过大模型测试?国家中医药管理局认证中心:未与任何大模型企业合作,亦未开展测评

    IT之家 11 月 22 日消息,11 月 21 日晚,国家中医药管理局中医师资格认证中心通过官方公众号发布声明称,该中心从未公开历年真题,未与任何大模型企业合作,亦未开展测评。 声明称,中心从未以任何形式向社会公开、发布或出售中医类别医师资格考试历年试题(含真题、原题)、参考答案及相关考试资料,亦未授权任何单位或个人

    来源 AI 行业观察
  8. 华中科技大学联手阿里巴巴建AI安全研究中心,首批9个课题启动

    IT之家 11 月 21 日消息,华中科技大学与阿里巴巴集团于 11 月 18 日签署合作协议,聚焦 AI 安全共建“智能攻防与前沿安全联合研究中心”,首批启动 9 个课题。 IT之家获悉,联合研究中心首批启动的 9 个课题,覆盖大模型安全攻防、智能体与终端安全、智能化系统与软件安全、数据协同与隐私保护四大方向,以下为

    来源 AI 行业观察
  9. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  10. 中国AI日均500万亿词元:调用量年增4倍,生意逻辑变了?

    过去两年,AI行业谈论最多的,是模型参数、榜单排名和训练能力。但随着大模型逐步进入企业业务,行业真正关心的问题正在变化:模型能不能被持续调用,算力能不能稳定交付,以及每一次调用能否带来合理回报。数据显示,截至2026年7月,中国日均词元(Token)调用量已超过500万亿,较去年底的100万亿增长了约4倍。今年“双十.

    来源 腾讯网
  11. 国星宇航港股首日破发:AI卫星转型未改营收结构,2026亏损预增

    中经记者 陈婷 赵毅 深圳报道11月13日,国星宇航(06935.HK)在香港联交所挂牌上市,公司股价开盘报24.44港元/股,较发行价24.9港元/股跌1.85%。截至当日收盘,报24.02港元/股。招股书显示,国星宇航是国内聚焦AI卫星的商业航天企业,于2018年12月发射了中国第一颗AI应用卫星,于2024年9月

    来源 腾讯网
  12. AI产业催化密集:硬件与应用两端都有动作,商业化收入成关注焦点

    每经AI快讯,全球人工智能产业近期迎来密集催化,硬件端与应用端均有重要事件落地。英伟达最新财报继续验证全球AI算力需求的旺盛程度,大模型企业Anthropic亦正式登陆纳斯达克,为投资者观察前沿AI企业的商业模式和估值水平提供了新的参照。分析人士认为,当前AI产业仍处于快速发展阶段,算力基础设施建设和大模型技术迭代..

    来源 腾讯网
  13. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  14. 大模型首Token激活为何巨大?清华北大团队找到梯度调节解释

    大语言模型中,序列开头的Token常出现注意力汇聚和数值巨大的异常激活。清华与北大团队通过反向传播分析发现,这种“巨大激活”并非冗余,而是通过RMSNorm层衰减局部集中梯度的自适应机制。研究提出V-scale验证了这一假设,为理解Transformer训练动力学提供了新视角。

    来源 AI 应用前沿
  15. 200万金丝雀潜入AI供应链:数据托管不等于隐私安全

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 行业观察
  16. 谷歌50天连发4款模型:Gemini 4 Neon登场,世界模型同步开放

    OpenAI时隔75天的顶级模型刚刚发布,社区里的吐槽就炸开了。有人直言新模型“几乎没法用”,有人抱怨它过分谨慎、难以指挥,还有人认为,这家伙解释起自己的工作就像在“说外星话”。甚至有人用漫画玩了个梗,吐槽GPT-6.2 Astra的语言风格,根本是防御过当。图片来源网络前·赛博义父Tibo在X上表示,他已经收到了关于

    来源 腾讯网
  17. 姚顺雨谈混元取舍:700B级模型与算力约束下怎么走

    11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队的研究员,在 Reddit 上做了一场两小时的 AMA(Ask Me Anything),收到 300 多条留言。这是混元第一次在开发者社区公开答问。

    来源 网易科技
  18. 西北工大ROSE框架:多模态大模型连续知识更新如何不再乱套?

    多模态大模型在持续更新事实知识时,常面临“灾难性遗忘”和“局部性退化”两大痛点。西北工业大学团队提出的ROSE框架,通过风险感知的正交编辑机制和多粒度知识整合策略,在LLaVA-7B模型上实现了1000次连续编辑后仍保持95%以上的可靠性,且几乎不干扰无关知识。该成果已入选NeurIPS 2026 Spotlight。

    来源 AI 应用前沿
向下滚动自动加载更多