循环模型叠加MoE：专家层怎么“拍扁”才不浪费参数

2015 年前后，深度学习领域流传过一句话：参数越多，模型越聪明，堆得越大越好。可几年之后，这条路就撞墙了。

要训一个万亿参数的模型，单是把这些参数存下来、搬来搬去，开销就足以劝退多数团队。业界因此分成两支。一支走稀疏混合专家模型，也就是 MoE

**MoE（Mixture of Experts，混合专家模型）**：思路是把一个大网络拆成许多个小“专家”子网络，每次只挑其中几个激活来处理输入，参数总量能做得很大，实际计算量却很小。

走这条路的有 DeepSeek、Kimi 等大模型，它们在一层里塞进几百个专家，每个 token 只选两三个上场。参数规模堆得极高，计算量则压得很低。

另一支是循环模型，思路正好反过来：不靠堆参数，而是把同一组层反复算上几遍，用多算几步换更强的能力。

一边在“存”上想办法，一边在“算”上想办法，看上去毫不相干。本文作者盯了这两条路很久，忽然发现：它们其实互补，而且补得刚刚好。

**循环模型（Looped Transformer）**：不叠更多层，而是让同一层块反复计算多次，拿计算量换更强的建模能力，代表工作是 Universal Transformer 和近年的 Huginn。

问题是，这两条路一直没人认真拼过。拼起来不难，拼得巧才难。论文要回答的就是：混合专家模型如果做成循环结构，专家该怎么摆？每层放几个？循环几轮？哪些参数共享、哪些不共享？

这种问题拍脑袋答不了，比例稍微一动，结果可能差出很远。

专家为什么用得这么少

想知道这篇论文在解决什么麻烦，先得看清稀疏 MoE 的一个先天短板。

一个 MoE 层里堆了 64 个专家，每次却只挑 2 个来算，那每一次路由决策，这个 token 只看得到 64 个里的 2 个，其余 62 个根本没机会出场。专家越多，单个专家被用到的频率就越低。好比一座藏书上万册的图书馆，你每次只能借两本，时间一长，大多数书可能永远没人翻。

作者们抓住了一个关键点：循环模型本身就能缓解这个毛病。每循环一次就是一次新的路由决策，同一层的专家池可以在不同轮次里被重新挑一遍。相当于借书还是只借两本，但今天借两本、明天再借两本、后天还能借两本，几轮下来，翻过的书目自然就多了。

论文给的数字很直白：不循环时一个 token 只能碰到 16 个专家，循环 8 次后能碰到 36 个，差不多翻了一倍还多。

作者们由此意识到，循环和稀疏专家并非两项孤立技巧，效果可以互相放大。他们据此设计了一套方法，取名 Foil。

Foil 怎么把专家“拍扁”

Foil 的头一个核心动作叫“flatten the experts”，说白了就是把专家层拍扁。

具体怎么拍？假设原来的循环模块是 8 层、每层 8 个专家、循环 2 次。Foil 会把层数减半成 4 层，每层专家数翻倍成 16 个，循环次数也翻倍成 4 次。这样一轮下来，模型存储的专家总参数没变，每个 token 实际调用专家的次数也没变，但每次路由决策能选的专家池从 8 个扩到了 16 个。

**Flatten（拍扁）**：减少循环模块里的层数、增加每层的专家数量、相应增加循环次数，在总参数和计算量都不变的前提下，把每次路由决策的候选专家池做大。

论文对此给出的解释挺直观：模型被拍扁以后，它的“等效专家数”就会成倍往上走。按原来的算法，8 层乘 8 个专家、再乘 2 次循环，等效专家是 128 个；拍扁三次之后，式子变成 64 乘 1 乘 16，等效专家数就涨到了 1024。当然，这并不代表实际多出了专家，意思是把这个循环模型彻底摊开、当成一个不循环的大模型来看，它的等效专家规模有这么多个。

有个类比很贴切。一家餐厅后厨只有 8 个厨师，但餐厅把晚餐拆成 8 轮点菜，每轮顾客都能从这 8 人里重新挑 2 个来做菜。若不拆轮次，把晚餐压成 2 轮，顾客挑厨师的机会就少得多，某几位厨师的招牌菜很可能一整晚都尝不到。Foil 干的就是把点菜轮次拆细，让每次选择都有更丰富的厨师可选，而后厨还是那 8 个人，一个没多雇。

实验数据也支持这个设计。训练 200 亿 token 后，三种不同拍扁程度的 Foil 模型，损失都低于没拍扁的基线。训到 1000 亿 token 时，拍得越深损失越低，拍得最彻底的 Foil-1 比基线低 0.012 nat，下游任务准确率持平或略有提升。

不过光拍扁专家还不够，作者们发现这里藏着一笔代价。

拍扁丢掉的东西，得补回来

把专家层拍扁，有个副作用常被漏掉：层数一少，原先挂在这些层上的注意力参数也跟着没了。

比如原来是 8 层模型，每层各有一套独立的注意力参数，加起来 8 套。拍成 1 层再循环 16 次，若仍按老办法共享注意力，就只剩 1 套参数被反复用上 16 遍。专家那边的参数总量没动，注意力参数却实打实地缩了水。

论文把这种会丢注意力参数的拍扁模型称作 proto-Foil，拿它当对照组。

**proto-Foil（原型 Foil）**：专家层被拍扁，但注意力仍沿用传统循环模型的做法，所有循环轮次共用同一套注意力参数。这是论文用来做对比实验的基线版本。

作者们的办法是连注意力一起“解绑”：每一轮循环都配一套专属的注意力参数，不再共用。这一步不增加任何计算量，只是把原本会被拍扁丢掉的参数预算重新捡起来，给每轮循环各配一份独立的注意力权重。Foil 名字里“untie the attention”说的就是这个。

**Untie Attention（解绑注意力）**：循环的每一轮都拥有自己独立的注意力参数，不像传统循环模型那样所有轮次共用一套；专家和路由器则照旧共享。

生活里也有类似的场景。一位老师要给同一批学生把同一份教案讲四遍。要是每遍都用同样的语气、同样的板书逻辑照搬，四遍下来学生得到的新东西其实有限，因为处理信息的方式没变，只是内容过了四遍。可要是每轮换一个讲解角度、换一处侧重点，教案本身没变，学生每遍听到的东西却都不一样，理解也更立体。解绑注意力干的就是这件事：专家好比教案内容，保持不动；注意力好比讲解方式，每轮循环都给它一次重新组织信息的机会。

实验结果说明了这个设计的分量。四种不同拍扁程度的模型里，解绑注意力的版本全都赢过了共享注意力的对照组，而且拍得越扁，差距拉得越大。训练到 1000 亿 token 时，拍得最彻底的那一对模型之间，损失差了 0.049 nat，放在语言模型的训练损失尺度上，这已经相当显著。下游任务的准确率上，解绑注意力的模型平均领先 3.3 个百分点。

要是少了这一步会怎样？论文给出了明确的反例：共享注意力的 proto-Foil 系列，拍扁一次损失确实降了，可再往下拍，损失反而回升。也就是说，在共享注意力的约束下，拍扁带来的收益很快被另一项代价吃掉；解绑注意力之后，这项代价消失，拍扁的收益才能一路释放到底。

负载均衡不等于专家健康

随后论文做了一系列细致的消融实验，想弄明白这套设计到底为什么奏效。其中一个发现，挑战了业界长期以来的常识。

长期以来，大家判断一个 MoE 模型里专家利用得好不好，用的标准指标叫负载均衡，意思是每个专家被调用的频率够不够平均。但这篇论文指出，负载均衡这个指标会骗人。

**负载均衡（Load Balance）**：这个指标看的是 MoE 模型内部各专家被调用的次数分不分散，分散程度由 Jain 公平性指数来刻画，指数越贴近 1，说明调用越均衡。

论文发现了一个很反直觉的现象：拍扁程度越深的 Foil 模型，负载均衡的数值反而越低，专家的调用频率越来越不均匀。按传统标准，这该是个坏信号，说明路由决策开始偏心，有些专家被过度青睐，另一些被冷落。

可与此同时，拍扁越深的模型损失反而越低，表现反而更好。负载不均匀，模型却更聪明了。

这该怎么解释？作者引入了另一个指标，叫路由置信度，用一个叫 MMR 的数值来衡量。

**MMR（Median Margin Ratio，中位数边际比率）**：它测的是路由器做选择时底气足不足——算法是把排第一的专家概率除以排在中间位置的专家概率，得数越大，说明路由器越有明确偏好，并非胡乱点一个。

拍扁越深的模型，MMR 数值越高，说明路由器挑专家挑得越来越果断，而不是犹犹豫豫地在一堆专家里随便抓两个。论文用这个发现重新解读了负载不均匀：它未必是坏事，可能恰恰说明路由器学会了分辨好坏，知道哪些专家更适合当前这个 token，而不是不管三七二十一平均分配任务。

作者还做了一组“遮蔽实验”来检验上述推测：直接把流量最低的那 10% 专家全部屏蔽，观察损失是否显著抬高，同时用流量规模相同的随机专家组合作为对照。八个模型中有七个，被屏蔽的低流量专家组损失涨幅都高于随机选出的对照组。可见这些看着“冷门”的专家并非可有可无的装饰，它们只是出场机会少，真被调用时，常常扛着特定的、关键的任务。

拿急诊室打个比方。医院里有一位专看罕见病的医生，平日门诊寥寥，大多时候闲着。要是只拿“接诊量”这一把尺子量他的价值，病人少，院方或许会觉得这个岗位可有可无，甚至打算撤掉。可真把他调走，等那位罕见病患者上门，医院就抓瞎了。接诊少不代表没价值，反过来看，有时正说明这门专长要碰上对口的病例才会发挥作用。MoE 系统里那些低流量专家，很可能就扮演着类似的角色。

宽而稀疏的层，循环收益衰减得更慢

论文还做了一组对照实验，专门研究“层该设计得宽一点还是窄一点”：所谓宽，指每层专家数量多、层数少；窄则相反，层数多但每层专家少。

实验发现，越宽越稀疏的层，从增加循环次数里获得的收益衰减得越慢。换句话说，一层塞很多专家、每次只激活两个，这种高度稀疏的设计配上多轮循环效果特别好，循环八轮下来依然能持续拿到明显的损失下降；而层数多、每层专家少的设计，循环带来的边际收益很快就变得不明显了。

作者还发现，“每层专家数加宽”与“循环轮数增加”之间会相互放大效果。每层专家数翻倍，在循环两轮时只带来 0.038 nat 的提升；循环次数提到八轮，同样翻倍专家数，提升就到 0.049 nat。反过来同样成立：循环轮数增加带来的收益，在专家层更宽的配置下也更可观。

这组实验给出的建议很直接：稀疏循环 MoE 模型应尽可能朝“每层专家多、循环次数多”的方向设计，光堆层数没有用。

路由置信度会出现“顶峰”信号

最后一个要细说的发现，和路由置信度 MMR 随循环轮次变化的曲线形状有关。

论文注意到，不少模型的 MMR 曲线并非一直涨到结束，而是先升到一个峰值，再往下走。拍得最彻底的 proto-Foil-1 和 Foil-1 都是先升后降。损失表现最好的 Foil-2 却没出现这个回落峰值，曲线一路走高到最后一轮。

作者把这一现象归纳成一条实用判断依据：某个模型的路由置信度在某一轮循环冲到峰值后开始下滑，往往说明继续加深拍扁或继续增加循环轮数，能拿到的收益已经不多。Foil-1 出现了峰值回落，最终损失确实比没有峰值回落的 Foil-2 高一点，两者相差约 0.002 nat，统计上相当于三个标准误差。

这个发现等于给了设计者一把尺子。不必把所有拍扁配置都穷举试一遍，只要看训练中路由置信度曲线有没有出现“先涨后跌”的拐点，就能大致判断当前循环深度或拍扁程度是不是已经接近收益饱和。

论文也如实列出了几处局限。他们没有设一个参数和计算量完全对等的非循环对照模型，因为那样会牵动专家激活比例，把变量搅混。除了一次种子重复实验，大部分结果只跑了一个随机种子，训练步数之间也不完全独立，误差估计因此偏乐观。所有实验都在一个固定模型宽度上完成，没有验证更大规模下结论是否还成立。消融实验用的是共享注意力版本，不是解绑注意力的完整 Foil，所以这些消融结论的具体数值放到真正的 Foil 上可能有出入。

写在后面

读这篇论文，最让我意外的不是 Foil 本身的设计。“拍扁加循环”这个思路讲清楚之后，其实不算特别复杂。让我多想了一会儿的，是负载均衡这个指标被质疑的那部分。

以往大家有个共识：负载分布越平均越好，于是各类辅助损失函数都使劲把专家使用率往平里压。论文却通过实验指出，平均分配并非最终目标，让专家各按所长被差异化地调用，或许才更贴近“智能”的样子。这倒让人联想到一个毫不相干的领域——人力资源管理，那里也存在差不多的争论。硬把团队里每人的工时和任务量凑成一模一样，表面上公平，产出却未必最高；有的人本就该多扛关键任务，有的人本就该少掺和，区别对待常常比一视同仁更能出活。

论文里那个“遮蔽实验”的设计也挺巧，用随机对照组去验证冷门专家到底是不是真没用，这个思路比直接看流量数字扎实得多。它提醒我，一个指标看起来低，不代表这个东西价值低，可能只是它被触发的场景本身就稀少。

论文留下的一个开放问题是：这套拍扁加解绑注意力的思路，在更大规模模型上是否依然成立。目前的实验都停在五亿参数级别，而现实里真正需要省参数、抠计算量的，恰恰是那些千亿甚至万亿参数的庞然大物。Foil 这套设计搬到那个尺度上，拍扁出来的专家池子会不会因为维度过大，反而稀释了路由的辨别力？这个问题值得继续追问。

Q&A

Q1：Foil 是什么？

A：Foil 是一种改进循环混合专家模型的设计方法。它把专家层拍扁，减少层数，同时增加每层专家数和循环次数，并给每一轮循环配上独立的注意力参数，在不增加参数和计算量的前提下显著降低模型训练损失。

Q2：拍扁专家层会不会损失模型性能？

A：不会。相反，它会带来提升。论文实验表明，Foil 模型被拍扁得越厉害，经过 1000 亿 token 训练后损失反而越低；拍得最彻底的版本，损失比基线低 0.012 nat，下游任务的准确率也做到持平甚至更优。

Q3：负载不均衡是不是意味着 MoE 模型出了问题？

A：不一定。论文发现，拍扁后的模型负载均衡度下降，整体表现却更好，同时路由置信度指标 MMR 上升，说明路由器学会了更果断地挑选合适专家，负载不均匀可能反映的是健康的专家分化，而非故障。