混合专家模型被忽视的裂缝：路由分配不均，冷门专家接诊靠不靠谱？

一个号称有百亿参数的超大模型，回答问题时真会把参数全用上吗？恐怕未必，每次可能只动用了其中很小一部分。

这听着有点反直觉。大家习惯认为参数越多、模型越大就越聪明，算得也越准。可混合专家模型这类架构，偏偏是靠“偷懒”才做到又聪明又省电。

混合专家模型*：这是一种神经网络架构，做法是把原本一个超大的前馈网络拆成许多小的“专家”子网络，每次只激活其中几个来处理当前输入，不会全部启用。

打个比方，医院不会安排每个病人都把所有科室的医生看一遍。你发烧了，分诊台直接把你分到内科，心脏外科专家的时间不会浪费在你身上。混合专家模型里的“路由器”就相当于这个分诊台，由它判断每个词该交给哪几个专家。Switch Transformer、GShard 这些早期系统都靠这套机制，让模型总参数量涨上去，每次实际计算量却基本不变。

问题是：分诊台也会出错。

**路由器并非万能，它靠概率打分做判断，不是绝对正确的医疗诊断。**

一旦路由器判断失误，或者为了让每位专家都有活干、避免有人闲得发霉有人累到爆，它就会人为把一些病人分到不那么对口的科室。麻烦由此而来：那些偶尔被选中、平时很少接单的专家，训练数据不够、梯度更新不够频繁，水平往往比不过长期当红的“主力专家”。

局面于是很尴尬：模型整体利用率看着挺均衡，可只要路由走了“非最优但说得过去”的那条路，病人就可能落到不够格的医生手里。论文把这个问题点得很透：过去大家只盯着“流量分配均不均”，没人真正关心“每个专家接诊时到底靠不靠谱”。

这是一道被长期忽视的裂缝。

以往处理专家负载不均衡，基本套路都是加一个“均衡惩罚”：某个专家接单特别多，就扣它的分，逼路由器把活儿摊开。GShard 用的是 KL 散度式的辅助损失，Switch Transformer 干脆简化成只选一个专家来降低复杂度，再往后还有 BASE Layers、Expert-Choice 路由等变体，思路都没跳出这个框：让流量更均匀。

辅助损失*：训练时额外加的一个惩罚项，专门约束路由分配的均匀程度，跟模型本身要学的任务损失是分开的两件事。

可仔细想想，流量分得均匀，跟每个专家都训练得足够好，压根是两码事。

好比一家连锁餐厅为了“公平”，硬把客流平均分到每家分店，哪怕某家分店的厨师经验明显不足。客流是均衡了，那家分店端出来的菜可能还是不行。厨师的训练问题不解决，只靠调度客流，顾客迟早会在某次“随机被分配”到那家店时吃到难吃的菜。

更麻烦的地方在于，专家专精本就是混合专家模型的优点：你希望某个专家特别擅长处理代码，另一个特别擅长处理诗歌。强行把所有流量拉向均匀，反倒会抹掉这种有益的分化。论文提出 DRMoET 正是从这里出发：均衡和稳健其实是两件可能互相打架的事，得找一个办法，既不牺牲专精，又能让“冷门路径”更靠谱。

DRMoET：把每个专家当成一个“风险小组”。

论文给出的方法叫分布鲁棒混合专家训练（DRMoET）。

分布鲁棒优化*：这种优化思路不求“平均表现最好”，求的是“最坏情况也不能太差”。传统训练把所有样本的损失平均起来压到最低，分布鲁棒优化则会额外盯住那些损失特别高、表现特别差的子群体，想办法把它们也拉上来。

这套思路起初并非为混合专家模型设计。Group DRO 一类方法多用于性别、地域等人工划定的群体，关注的是模型在女性用户与男性用户之间的表现差异等情形。DRMoET 的巧妙之处，是把每层中被路由选中的专家视为一个个“内生性的风险小组”。这些小组并非由人工预先定义，它们随训练推进、由路由器实时生成。

具体怎么做？论文设计了一套流程，核心是三步。

第一步，算清楚每个专家到底该为哪部分损失“背锅”。一个词被路由到某个专家，这个专家处理完之后产生了多大的激活、路由概率给了多少权重，这些信息被组合成一个叫“激活加权信用”的指标，用来衡量该专家对当前这个词的损失究竟负多大责任。

激活加权信用*：把路由概率大小和专家输出激活强度两个因素结合起来算出的一个权重，用来决定某个专家对某次损失该承担多少责任。这个权重本身不参与反向传播，只作为固定系数使用。

第二步，用指数滑动平均追踪每个专家的历史表现，免得某一个批次的随机波动把统计数据带偏。

指数滑动平均*：一种统计平滑手段，新数据进来时不会完全替换旧数据，而是按一定比例把新旧数据混合起来，这样单次异常值就不会造成剧烈波动。

第三步也是最关键的一步：用一个熵正则化的 softmax 规则，动态调整每一层里不同专家被“重视”的程度。损失越高的专家，拿到的权重越高，这个权重又会反过来放大该专家对总损失的贡献，让梯度更新对它更“狠”一些。

有个技术细节值得细看。论文说得很清楚，他们落地的更新公式走的是概率空间里的softmax，并非在对数空间做乘法式更新。两者表面相近，数学性质却差得远。附录里给出了证明：概率空间这一版，等价于在目标函数上加了熵正则项和二范数正则项之后做“镜像上升”，于是整个优化过程都有严格的收敛性保证，不是什么拍脑袋想出来的经验公式。

不这么设计会怎样？论文的理论分析给出答案：这种正则化版本的目标函数，与真正“硬性”的最坏专家目标函数之间，误差被压在Llog E除以η这个范围里（L指层数，E指专家数，η是步长参数）。换句话说，DRMoET并非在无原则地乱调权重，它是在用一个数学上可控的近似，去逼近“真正该优先解决最坏情况”那个理想目标。

整个过程既不用动路由器本身，也不用增加额外的前向计算，只是在已有损失上重新加权一次。论文测算过，这套机制多出来的计算量，相比专家前馈网络自身的计算量只是很小的一个比例，几乎可以忽略。

两个规模的实测：数字说话

理论听着挺美，可真正有说服力的还是实验数据。

论文从零开始做了两个规模的预训练：一个是激活2.9亿参数、总共7.46亿参数的小模型，另一个是激活17亿参数、总共103亿参数的大模型。训练数据取自DataComp-LM语料库，小模型大约喂了335亿个token，大模型约670亿个token。

下游任务一共7个，包括ARC科学推理、HellaSwag常识推理、PIQA物理常识、WinoGrande代词消解、SciQ科学问答、ReCoRD阅读理解。在大模型规模下，标准FLAME-MoE基线七项平均分是0.6625；业界常用的“无辅助损失平衡”方法只拿到0.6431，反而更差。DRMoET取η=0.01，把平均分拉到0.6767。

这个提升幅度大概是多少？从0.6625到0.6767，绝对提升1.42个百分点，相对提升2.14%。

| 规模 | 方法 | 七任务平均分 |

|---|---|---|

| 103亿参数(67B tokens) | FLAME-MoE基线 | 0.6625 |

| 103亿参数(67B tokens) | 无辅助损失平衡 | 0.6431 |

| 103亿参数(67B tokens) | **DRMoET(η=0.01)** | **0.6767** |

| 7.46亿参数(33.5B tokens) | FLAME-MoE基线 | 0.5403 |

| 7.46亿参数(33.5B tokens) | **DRMoET(η=0.001)** | **0.5523** |

小模型规模上趋势一样：DRMoET的最优配置把平均分从0.5403提到0.5523。

数字背后，到底发生了什么

只看下游任务分数涨了多少，还说不清问题的本质。论文随后做了一串“显微镜式”的分析，专门验证DRMoET是真的在解决“路由不靠谱”这个核心问题，而不是碰巧蒙对。

第一个分析看专家损失分布。收敛之后，研究者逐个测了各专家的损失水平：DRMoET把最差专家的损失降了2.05%，平均损失几乎没动（只变化0.05%）；损失的标准差和变异系数都降了超过8%。

这组数字说明的事挺重要：DRMoET拿分不是靠“降低整体难度”，它专门把特别差的专家拉上来，同时没让表现好的专家变差。分布鲁棒优化想要的就是这个效果——不是让所有人变得平庸，而是把短板补上。

第二个分析更直接，叫“强制中位k错误路由探针”。实验设计得很巧：研究者故意把每个词本该走的“最优专家组合”换成“中等排名的专家组合”，模拟路由器判断失误时的真实场景，再看这种人为制造的错误路由会让损失涨多少。

结果是：基线模型正常路由下损失3.187，强制错误路由后飙到7.249，损失翻了2.27倍。DRMoET训练出的模型正常路由损失3.182（几乎一样），错误路由后是7.071，翻了2.22倍。

差距看着不大，却恰好验证了论文最核心的主张：路由器判断失误、把词送到“说得过去但不是最优”的专家手里时，DRMoET训练出的模型受到的伤害要小4.3%。

这就像两家医院都碰上分诊失误，病人被送进了不太对口的科室。普通医院那个科室的医生水平确实不够，耽误病情会很严重；经过特殊培训的医院，哪怕是“非对口”科室的医生，也受过足够的交叉训练，起码能先稳住病人情况，不至于让一次分诊失误酿成大祸。没有这种交叉培训，每一次路由失误都是实打实的事故，而不是可以被缓冲的小插曲。

第三个分析换了个角度：按使用频率把全部专家划成高、中、低三档，分别观察它们在DRMoET训练下的表现变化。中档专家——既不属于最热门、也不是最冷门的那一批——改善幅度最大，达到0.7%。这一点与论文的核心判断对得上：路由器出错时，容易被"误送"过去的恰恰是这批中间档专家，DRMoET加强的正是这部分。

研究者另外测了模型在六个此前从未见过的基准数据集上的表现，分布外样本共4.2M token。结果显示，损失的离散程度——标准差、变异系数——都明显下降。换句话说，稳健性并未止步于训练数据内部，到了陌生场景照样成立。

专精会不会被牺牲掉？

有一种担心很自然：硬要让冷门专家也变靠谱，那些本该高度专一的专家会不会被搞得"四不像"？

论文为此测了功能专精度，一共四个指标。最大选择性看的是每个专家在哪个领域被选中的比例最高；选择性边际看的是专家对首选领域和次选领域的区分度；能力优势看的是专家在自己擅长领域比其他领域好多少；互信息看的是专家选择与功能领域之间关联有多紧。

四个指标在DRMoET训练下全部提升。其中能力优势提升30.2%，互信息提升12.9%。

这说明DRMoET并没有把专家拉成一模一样的"万能工具人"，反倒让它们在各自擅长的领域表现更突出。结果其实有点出乎意料——直觉上，让冷门路径更靠谱，似乎该以牺牲专精为代价，但实验数据给出的答案正好相反。

计算开销和真实训练速度

一个很现实的问题摆在面前：这套额外的"风险小组"机制，会不会拖慢训练？

论文给了理论上的复杂度分析。额外引入的计算量相对于专家前馈网络本身的计算量，大致是1除以前馈网络宽度这个量级，放到实际工程里几乎可以忽略不计。

实测数据也支持这一点。相同硬件和软件环境下，DRMoET每GPU的算力吞吐达到67.19 TFLOP/s，比基线的64.17 TFLOP/s还高出4.7%；单次迭代耗时从6460毫秒降到6166毫秒，少了4.6%；吞吐的波动标准差从1.81降到0.93，波动幅度缩小了一半。

论文作者措辞很谨慎：这个"更快"更可能是训练过程中随机抖动减少带来的，而非方法本身在算法层面有加速效果。但至少能确认一件事——稳健性的提升，没有拿训练效率去换。

两个办法要不要一起用

另一个值得追问的问题是：DRMoET能不能替代传统的负载均衡损失？

论文做了对照实验。在小模型规模下去掉标准的负载均衡损失、只留DRMoET，七任务平均分是0.5448，高于标准FLAME-MoE基线的0.5403，但低于DRMoET与负载均衡损失同用的0.5523，差距不小。

换句话说，这两套机制各自盯着不同的毛病。前者管的是负载均衡上的损失——有没有专家一直空转、没人调用；后者管的是 DRMoET 所担心的——被挑中的专家到底靠不靠谱。要是一个专家基本没流量，DRMoET 那套风险加权机制就攒不够观测数据，判断不了它行不行。眼下看来，两套一起上是最稳妥的搭配。

Q&A

Q1：DRMoET和传统的负载均衡方法有什么区别？

A：传统负载均衡只盯着专家接收的流量是否均匀，DRMoET关心的则是被选中的专家表现靠不靠谱。流量分得再均匀，表现差的专家一旦被选中，照样拖累模型，DRMoET优化的正是这个问题。

Q2：DRMoET会不会让所有专家都变得差异不大，失去专精能力？

A：不会。论文实验显示，DRMoET训练后专家的功能专精度指标反而全面提升，比如能力优势提升30.2%，互信息提升12.9%，说明专家在自己擅长的领域表现更突出，而不是被拉成千篇一律。

Q3：DRMoET会增加训练成本或拖慢训练速度吗？

A：基本不会。实测下来，DRMoET 每个 GPU 的吞吐量反倒涨了 4.7%，单次迭代耗时少了 4.6%；额外算力开销从理论上看也很有限，差不多属于可以忽略的水平。