京东联合南大提出Road MOPD：多教师蒸馏冲突怎么解？

数学题归数学老师，代码题归代码老师，医学题归医学老师。把各有所长的专家凑到一块，同一个小模型就真能学会多种本事吗？

多教师在线策略蒸馏（MOPD）里，按领域挑教师只是头一步。不同教师在专长领域、答题风格、推理习惯上可能差得很远，可它们的监督最后都压在学生那套共享参数上。各教各的本来都有效，一旦联合训练就可能互相搅局，结果一科上去了、另一科掉下来。

真实业务里也有同样的麻烦。商品理解、素材质检、风控合规这些任务做能力合版时，同样得把不同业务专家的指导协调好，让统一模型既吸收业务专长，又保住通用的多模态能力。

针对这个问题，京东零售 - 视觉多模态与 AIGC 团队与南京大学合作提出 Road MOPD：让多位教师一起评价学生的同一份回答，再借跨教师反馈把学习过程协调起来。做法上，Road MOPD 强化教师共同支持的学习信号，削弱有分歧的信号，并在参数更新前把冲突分量压下去，学习干扰少了，目标任务的学习力度还在。

• 论文链接：https://arxiv.org/abs/2610.13521
• GitHub 地址：https://github.com/jokersio-tsy/RoadMOPD
• huggingface地址：https://huggingface.co/papers/2610.13521

实验显示，在 Qwen3-4B 上，相比 Vanilla MOPD，Road MOPD 在数学＋医学、代码＋医学这两组高冲突设置里都做到了双域一起涨，医学均分最多提升 8.78 个百分点。收益还溢到了冲突较低的数学＋代码组合，两个领域分别提高 1.61 和 1.83 个百分点。

老师之间差异大，按领域各教各的仍然不够

在线策略蒸馏（OPD）的做法是让学生先给出回答，教师再顺着实际生成的内容逐 token 给反馈。传统多教师 OPD 按领域分开监督，当前这份回答不会得到其他教师的联合评议。

此前已有研究在数学、代码等领域的组合上验证过联合学习的潜力。问题是，这种收益能不能搬到别的领域组合上？图 1 把常规多教师训练（Vanilla MOPD）与对应的单领域 OPD 放在一起做了对照。

图 1｜领域间的梯度冲突，以及常规多教师训练相对单领域训练的成绩变化。

先看数学＋代码：图 1 左侧的梯度冲突层占比均值只有 2.2%，右侧各项基准成绩也大多持平或上涨。右侧以单领域 OPD 为零线，高于零说明联合训练有收益，低于零说明退步。

可一换到数学＋医学、代码＋医学，情况就变了：冲突层占比均值分别升到 45.2% 和 36.6%，训练后期更明显；同时，两组组合里的四项医学基准全部低于单领域 OPD。数学和代码上的联合学习收益，并没有顺理成章地延续到这些组合。

这组反差把传统 MOPD 在教师差异较大时的合版难题摆了出来：领域路由把监督来源分开了，却没协调好它们对共享参数的影响。所以数学和代码上的收益不能直接套到其他组合，还得针对联合训练里的更新冲突下手，减少某个领域的能力退化。

Road MOPD 由此引入跨教师协同守护：领域专家的主要监督职责保留，同时请其他老师来评价同一段回答，用跨教师反馈削弱分歧信号、约束冲突更新，把能力整合中的相互干扰压下去。

让别的老师也看同一份回答

Road MOPD 保留各领域专家原有的主要监督职责，让辅助教师对同一批学生回答、同样的上下文给出评价。举例来说，数学教师带学生解题时，医学教师会补充反馈，协助判断这轮修正能否与其他教师的偏好相容。

辅助教师充当跨领域评议者，提供的是兼容性线索；数学答案的专业把关依旧由数学教师负责。该方法还借助学生初始化时的冻结副本，为所有教师表达修正方向提供同一个参照。

图 2｜Road MOPD 总览：先调整 token 级监督，再协调共享参数的更新方向。

第一步 把教师共识落实到每个 token

一段回答里，有的修正两位教师都支持，有的则意见相左。Road MOPD 就据此调节主教师的相对奖励：共识强的地方适当加强，意见相反的地方适当减弱。

具体来说，方法比较两位教师相对冻结参考模型的 token 概率。若两者都倾向提高、或都倾向降低某个 token 的概率，修正方向就一致；若一位提高、另一位降低，就是有分歧。一致性信号经过平滑、限幅后变成调节系数，免得监督强度变化过猛。证据接近零时，方法回到接近标准 OPD 的监督。

这样一来，教师绝对概率不同、但修正方向相同的情况也能被识别出来。调节作用在主教师的相对奖励信号上，并不是把整项损失简单乘一个权重。

图 3｜教师分歧与原始梯度冲突的关联，以及真实回答片段上的监督调节。蓝色为减弱，橙色为增强，颜色不表示答案对错。

这一分歧并非空口无凭。研究者把学生模型固定住，按教师之间的分歧程度将样本批次由低到高划成五组，结果医学领域的梯度冲突率从46%一路升到76%。文本层面意见不一致，恰好能当作更新冲突的线索。

第二步：压低冲突，同时别把学习强度丢掉

逐token协调完成后，监督信号终究要汇总成参数更新。Road MOPD在这里加了预防性梯度投影：调整后的监督算出目标梯度，辅助教师对同一份回答做标准OPD监督，算出辅助梯度。

接着，方法逐个参数张量检查这两个梯度的内积。方向能兼容，目标梯度就保留；一旦冲突，就剔除其中一部分不兼容分量。辅助梯度只负责给出约束方向，不会被当成另一路独立更新直接叠加到学生身上。

重点落在“同一份回答”上。常见的PCGrad协调的是不同任务各自在自家数据上形成的梯度；Road MOPD看的则是其他教师对当前这份回答的反馈，提前给当前更新加上约束。两者考察的兼容性关系并不一样。

图 4｜同轨迹投影与PCGrad的控制比较。上方是不同梯度配对方式的余弦均值；下方是领域均分，纵轴带断轴标记。两者保留相同的信用分配和范数保留机制。

投影强度也不能一味拉满。两种方向几乎相反时，完全投影可能连当前领域的学习信号一起削掉。于是方法给目标梯度设了范数保留下限，在这个约束内自适应挑选投影强度。消融实验里改成完全投影后，两组高冲突设置的综合分分别掉了0.83和0.44分。

辅助教师不止一位时，方法先汇总教师之间的一致性，再在同一个范数保留下限内依次投影，让更多专家参与协调。

高冲突组合先吃到红利，随后再铺到更多组合

实验用Qwen3-4B和Qwen3-1.7B，都关掉thinking模式，覆盖数学、代码、医学的11项基准，对照对象包括Vanilla MOPD、ExOPD、Open-MOPD、CaMOPD等方法。

先看4B学生。数学＋医学联合训练中，对比Vanilla MOPD，数学均分由45.97升到47.60，涨了1.63个百分点；医学由39.45升到48.23，涨了8.78个百分点。两域综合分从42.71升到47.92。

代码＋医学组合同样是两边一起涨：代码均分从60.53升到63.02，提高2.49个百分点；医学从40.75升到47.75，提高7.00个百分点。两域综合分由50.64升到55.38。这两组设置里，Road MOPD的两个领域均分都压过所比较的多领域方法。

图 5｜4B 学生模型在两轮高冲突训练中，两个领域都获得了提升。图中标注的是相对 Vanilla MOPD 的绝对百分点增益，横轴自零起始。数据取自论文主结果表。

规模换到1.7B后，代码＋医学组合仍旧两边受益，较Vanilla MOPD分别提高2.15和5.58个百分点。数学＋医学则出现取舍：数学均分从28.36降到27.21，医学从31.18升到36.89，综合分从29.77升到32.05。

两种学生规模、两组高冲突组合，一共四组实验，Road MOPD都拿到最高双域综合分，比各组最强综合基线高出0.72—2.89分。1.7B学生的数学、代码均分仍略低于ExOPD，但按领域等权来算，整体表现更好。

高冲突组合里的退化被压住之后，研究者又把较兼容的组合拿来检验。4B学生联合学习数学＋代码时，两域均分较Vanilla MOPD分别提高1.61和1.83个百分点，综合分达到55.40，说明收益也能落到低冲突场景。

扩到数学、代码、医学三个领域后，4B学生的三个领域均分较Vanilla MOPD分别提高0.31、1.68、7.42个百分点，均领先所比较的多领域方法。综合分达到52.89，比Vanilla MOPD高3.13分，比次优的CaMOPD高1.18分。

图 6｜这是三领域联合训练的结果。综合分按三个领域等权平均得出，各领域成绩在底部以 Road MOPD 列出。数据取自论文三领域结果表。

评测口径：领域内先对基准取平均，综合分再按领域等权平均。医学结果出自文本问答基准，详细口径见论文。

合版冲突被缓解，不同专家的能力才更好整合

Road MOPD盯的是风格与领域差异较大的教师合版冲突：各自单独有效的指导，凑到一块训练同一个学生时，可能因为更新同一套参数而互相打架。方法让领域专家继续挑主要监督的担子，同时请其他教师评价学生的同一份回答，借教师共识放大共同支持的修正、压弱分歧信号，再在参数更新前削掉冲突分量，并保住当前任务的学习力度。跨教师协调就此贯穿监督与更新两个环节，学生吸收一位专家能力时，对其他领域的干扰也能少一些。

在Qwen3-4B上，对比Vanilla MOPD，两组高冲突组合都做到双域共同提升，医学均分最高提高8.78个百分点。进一步实验显示，收益还能延伸到较兼容的数学＋代码组合；扩展到数学、代码、医学三领域后，三个领域均分同样上涨，综合分达到52.89。

这些结果表明，跨教师反馈为缓解“学会一科、退步一科”提供了有效路径，也为把不同专家的能力整合进同一个学生模型提供了方法支撑。

作者团队

本研究由南京大学LAMDA实验室与京东零售视觉多模态与AIGC团队联合完成，Shi-Yu Tian与Yong Liu为共同第一作者。

南京大学LAMDA实验室长期研究机器学习与数据挖掘，由中国科学院院士周志华带队，依托计算机软件新技术全国重点实验室。团队围绕集成学习、半监督学习、多示例与多标记学习等方向，基础理论、算法方法和应用研究都在做。

京东零售视觉多模态与AIGC团队则紧贴零售业务的一线需求，主攻多模态商品理解、可控视觉生成和虚拟试穿，已研发出电商多模态理解模型OxygenVLM、面向多品类虚拟试穿的Oxygen-TryOn等模型。按团队的说法，技术要做扎实、要用得上，让好商品更出彩，也让用户挑起来更轻松。