清华团队发现:混合架构大模型里,注意力层常被线性循环层压制
2026 年前后,如果你去翻开几家顶尖 AI 公司的技术报告,会发现一个共同的选择:Kimi K3、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron-3-Ultra,这些叫得上名号的大模型,几乎都用上了同一种架构套路,把线性循环层和传统的 softmax 注意力层混在一起用。这事儿听起
2026 年前后,翻看几家顶尖 AI 公司的技术报告,会看到同一个取向:线性循环层与传统 softmax 注意力被放进同一个模型里搭配使用。
这事听着技术味很浓,道理却说不上复杂。
softmax 注意力*:Transformer 中最典型的信息混合手段。生成每个词时,它都要把前文所有词回看一遍,算力开销随文本长度呈平方级上涨,换来的是很高的检索精度。
线性循环层*:其中包含
说白了,softmax 注意力记得准,可费脑子;线性循环层反应快,记性却平常。把两类层混着用,乍看是取长补短的好买卖。不少论文也的确观察到,训练完成后模型内部会出现分工:一些注意力头专门负责远距离取信息,另一些循环层管眼前的短程细节。这种分工被称作
可疑问跟着就来了:这样的分工是水到渠成,抑或是一场暗地里的较量,而较量的结局对模型未必是好消息?
清华大学的研究团队给出的答案出人意料:较量真实存在,并且在多数标准训练流程下,吃亏的那一方恰恰是人们最盼着胜出的 softmax 注意力。
**
**
一场没人留意的内部角力
要弄懂这篇论文的核心结论,先得回答一个挺直觉的问题:模型里同时装了线性循环层和注意力层,让它们各自去学远距离信息检索,两者会不会彼此添乱?
研究者把这一现象称为
打个比方,班里两个学生一起订正同一道题。老师的要求是全班对答案,谁先举手答对,老师就不再追问旁人,这道题的“学习信号”随之消失。学得快的那个若回回抢着举手,另一个哪怕本可以把这类题型吃得更透,也始终等不来被逼着动脑的机会。日子一长,后者在这类题上只会越来越弱,原因不是他笨,而是他从没被真正练过。
假如没有这种竞争,两类层本该各按各的节奏独立习得检索本领,强弱只取决于架构自身的禀赋。研究却发现并非如此:一层的学习进度会直接压住另一层,是此消彼长的零和博弈,而非各行其是的独立成长。
为了让这个抽象现象变得可观察、可量化,研究团队搭了一个干净的实验场。
一个专测说谎的任务
他们造了一个叫“
任务被刻意做得极简,不含语法,也不含语义,只考验模型能否跨过一段距离把信息原样捞回。这段“距离”的长短由研究者调节,短的只隔 64 个位置,长的隔到 8192 个位置,用以模拟短程模式与长程模式在真实语言中出现的比例差异。
只给任务还不够,研究者还得弄清模型里究竟是哪一层在承担这次检索。
为此他们设计了一套
替换之后,若模型本该答“1”却开始偏向“9”,就说明该层在检索上分量很重,换言之它确实在出力。若替换后最终答案纹丝不动,则说明这层对检索毫不在意,职责在别处。
这套做法好比在一条流水线上,偷偷把某个工位的半成品换成别的批次,再看成品会不会出岔子。一换成品就露馅,说明该工位是关键工序;换了没人察觉,说明它无关痛痒。若不这么做,人们只能笼统断言“模型整体检索强不强”,永远说不清是哪一层在立功,也就无从做针对性干预。
实验数据给出的说法
研究团队训练了一批仅 360 万参数的小型混合模型,2 层 KDA(当下流行的一种线性循环架构)加 2 层注意力,专门跑这个
Kimi Delta Attention (KDA)
不做任何干预时,结果相当直白:KDA 层很快在检索能力上占得上风,注意力层的检索分数始终被压得很低,几乎没见涨。
训练推进到某个时间点,研究者把KDA层的参数冻住,不再更新,注意力层则接着训练。这一步成了转折点。
冻结一发生,注意力层的检索能力就开始陡峭爬升。冻得越早,注意力层最后能达到的检索水平越高;冻得晚,它仍旧被KDA层压着。研究者还试了另一种做法:先冻住KDA,训练一段时间后再解冻。
结果分成了两种走向。冻结足够早的话(大约在第125步之前),后来解冻KDA,注意力层已经攒下的优势会继续巩固,反过来压制KDA;冻结太晚,优势还没真正立起来,一解冻,注意力层马上又被KDA反超。解冻之后没多久,两条曲线就分道扬镳。
这背后是一种自我强化机制。研究者进一步查看了梯度变化,发现在KDA被冻结期间,注意力层收到的
好比一场拔河,哪边先稍微占点上风,裁判(也就是优化过程本身)就会不自觉地给这边鼓劲,这边的力气越拔越大,另一边迟迟使不上劲,力气反而逐渐萎缩。不加干预,先发优势会被不断放大,最后形成赢家通吃的局面。研究者想避免的恰恰是这个结局,他们希望两边各展所长,而不是一方彻底压死另一方。
为什么KDA总是先手
问题也就来了:先赢的为什么是KDA,而不是注意力层?
研究者的解释很直接,跟KDA的架构设计本身有关。KDA的
研究者还专门做了一组实验,调整训练数据里短距离样本和长距离样本的比例,看这个比例怎么影响胜负。结果很清晰:长距离样本占绝对主导时,注意力层会成为检索能力的主力;但只要短距离样本不是少数派,KDA几乎总能抢占先机。
放到真实世界的语言数据里,这个发现的分量更重。此前已有语言学研究表明,自然语言中短距离的依赖关系(比如相邻词语的搭配)远比长距离依赖(比如段落开头和结尾的呼应)更常见。也就是说,用自然语料直接训练混合模型,大概率会复现实验室里看到的现象:KDA先一步学会短距离的“检索”,进而压制住注意力层本该承担的长距离检索职责,造成分工失衡。
反观纯Transformer架构,这个问题并不存在。各层结构完全一致,起点相同,架构上分不出谁先谁后。混合架构靠的“杂交优势”,同时也成了它独有的“内耗隐患”。
一个很朴素的解决方案
根源找到了,解决思路也就顺理成章。既然KDA天生手快,那就在训练最开始的阶段故意把它的手绑一会儿,让注意力层先跑一段,等它建立起足够的优势,再放开手让两边一起跑。
研究者把这个方法叫做BLD(
做法是这样的:正式大规模预训练启动前,先插入一个规模较小的热身阶段,数据量约占整体的十分之一。这一阶段里,KDA层的全部参数(混合层、MLP、归一化层都算)都被冻结,只有注意力层和部分共享参数(例如词嵌入)能收到梯度更新。等热身跑完再解冻KDA,转入正常的完整预训练,这时两边的参数才都能自由更新。
这就像田径场上的让跑式起跑:明知道一方天生爆发力更强,干脆让另一方先出发一段距离,等双方真正并肩竞速时,弱势的一方已经攒够了先发优势,不会一上来就被秒杀出局。不这样安排的话,起跑枪一响,天生速度快的那一方立刻把差距拉开,后面基本就追不上了。
团队将该方法应用于1.8亿到10亿参数的一系列模型,这些模型均基于KDA架构,训练用的是公开的高质量预训练语料
真实训练结果怎么样
效果体现在好几个维度上。
先看语言建模损失,这是衡量模型预测下一个词准不准的基础指标。在180M到1B的所有测试规模上,BLD方法训练出的模型损失都低于原版,且这一优势随模型增大并未消失。10亿参数下,BLD的损失为2.8680,原版为2.8744,差距看着不大,可在语言模型里,这种稳定的小幅改进通常对应着整体能力的系统性提升。
再看常识推理能力(CSR,涵盖ARC、HellaSwag、PIQA等七个经典测试集),BLD方法在大部分规模下也略有提升,比如10亿参数模型从48.69提升到49.45。
真正的大头出现在检索相关的任务上。在六个检索密集型任务组成的评测集(Recall)里,BLD方法的提升非常显著。拿250M规模来说,原版只有21.54分,BLD达到25.33分,提升了接近4个百分点,这意味着原本每答对4道检索题,BLD版本能多答对将近1道。到了180M这个最小规模,差距更夸张,原版只有10.39分,BLD达到14.12分,接近提升了36%。
RULER
在
语言建模困惑度(
团队还针对位置做了损失分析,把模型在16K长度文本中各个位置上的预测损失绘成曲线。结果发现,BLD模型在文本靠后的位置损失明显更低,这表明它更善于利用远距离的上下文,而非只在短距离内徘徊。
研究者并未止步于KDA这一种架构,他们把同样的思路移植到另外两种主流线性循环架构上,想看看效果是否依然成立。
分工的位移,这回是直接用眼睛看到的。光看指标数字终归有些抽象,团队又补了一组可视化分析,把注意力头内部的运作状态摊开来观察。
他们沿用了此前DuoAttention研究中的做法,为每个注意力头训练一个α值。原版模型里,α值明显突出的头只有一个,其余基本都贴近零——整个模型真正扛起长距离检索任务的,就这么一个孤零零的节点。BLD模型则不然:多个α值偏高的头分布在不同的层中,说明更多注意力头确实学会了专注提取远距离信息。
消融实验更能说明问题。研究者按α值从小到大,逐个把注意力头换成只能看局部信息的流式模式,再观察检索准确率如何变化。原版模型几乎从一开始就崩:唯一那个高α头一被替换,准确率立即掉到接近零。BLD模型则表现出很强的韧性,前四分之三的头被替换掉都几乎没影响,直到最后三个高α值的头被动到,准确率才骤然下滑。
这个现象可以这么理解:原版模型好比一个团队里只有一个人真正懂业务,其他人都是摆设,这人一请假,整个团队就瘫痪。BLD模型培养出的是一支至少三人的核心骨干队伍,某个人暂时不在,剩下的人还能撑住场面。若没有刻意安排这个热身阶段的干预,团队里永远只会冒出一个孤胆英雄,其余人才始终得不到真正锻炼的机会。
写在后面
这篇论文读下来,让我印象最深的并非BLD方法本身——方法说起来其实很朴素,无非是“先让一方跑一会儿再放开手”。真正出乎意料的是,这种此消彼长的竞争关系,此前几乎没有被认真量化过。混合架构里会出现分工,这一点大家都知道,但很少有人去追问:这个分工究竟是自然形成的最优解,还是被先发优势意外锁死的次优结果?
还有一个细节值得单独拎出来说。研究者在解释KDA为何总是先手时,给出的原因相当技术性,
这件事也让我联想到一个更普遍的问题:任何系统,只要多个子模块共同争抢某种有限资源——不管是梯度信号、注意力,还是团队里的话语权——先发优势都可能被不成比例地放大,最终让本该存在的多样性消失殆尽。论文给出的解法,无非是刻意制造一个“延迟赛跑”的窗口期,这个思路是不是也能搬到别的领域去用呢?
Q&A
Q1:竞争学习现象是什么?
在混合架构大模型的预训练过程中,循环层与注意力层都会慢慢掌握从上下文里提取信息的本事。可一旦其中某一类层先学成,检索相关的预测误差就被它压了下去,另一类层能拿到的训练信号随之变弱,学起来更慢。说到底,两边的分工因此走向失衡。
Q2:BLD 方法具体怎么操作?
A:BLD(
Q3:BLD 方法只对 KDA 架构有效吗?
A:不是。研究团队还在 Gated DeltaNet 和 Gated Linear Attention 两种循环架构上验证了 BLD,同样取得了显著提升,比如 GDN 架构下 Recall 分数从 17.33 提升到 32.05,说明这个方法对不同线性循环架构都适用。