NICT团队提出OptiMer：不用重训模型也能试数据配比
EMNLP 2026 杰出论文I大模型训练，数据配比难？日本NICT团队提出...
每种数据该喂多少，是训练大模型的人躲不开的一道题。
训练集里各数据集的配比一旦没设对，通常就得推倒重来。每个数据集往训练集里放多少，训练开始前就要定下来；可这套比例行不行，非得等训练完、评测过才见分晓。结果不理想，就再调比例、再训一遍，试错的代价相当高。
围绕这个难题，日本信息通信研究机构（NICT）的宋海越及团队在论文「OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training」中给出了合并分布向量的思路：持续预训练阶段想换配比，不必从零开始重训模型。
这篇论文拿到了 EMNLP 2026 杰出论文奖（Outstanding Paper Award）。本届共 17,661 篇投稿，获此奖项的论文有 22 篇。
-
论文：OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training
-
网站：https://shyyhs.github.io/optimer
思路上的转变，是把「合并数据集」换成「合并分布向量」。团队提出的方法叫最优合并，也就是 OptiMer。
具体分三步走。先分别训练模型、让它们各自学一类数据：从基座模型出发，在不一样的数据集上分别做持续预训练。比如日语、中文和数学三份数据，就各自练出一个模型，一共三个。
接着是提取分布向量，把训练带来的能力变化记下来。做法是用每个训练后模型的参数减去基础模型的参数，得到的差值就是对应的分布向量，它反映的是模型在这份数据上训练之后发生了哪些改变。
最后一步是自动搜索，找出最优的合并比例。把基础模型权重，加上按不同比例取用的多个分布向量，再加一个指令遵循向量，就得到一个新模型。看它在验证集上的表现，不断调整分布向量的比例，直到合并效果最优。每一轮尝试只需要做模型合并和评估，不用再训练。
效率方面，提升达到 15～35 倍。
各个数据集完成初始训练之后，就要试不同配比。传统的数据混合方法，光训练一个配比就要 129.3 小时；OptiMer 试 100 次配比，总共只花 8.5 小时。实验显示，在配比最优化这个阶段，OptiMer 拿到了 15～35 倍的加速。
效果上，它比混合数据训练更好。
在 C-Eval、Japanese Leaderboard、MMLU、GSM8K、HumanEval 这些常见基准上，OptiMer 的平均分拿到 70.37，而传统数据混合训练是 63.71，高出约 6.7 分。
另外，OptiMer 搜索出的最优合并权重还能反过来给数据混合定比例。把这套权重直接当作数据配比、重新训一遍模型，平均分就从等比例混合的 63.71 升到 68.66。
灵活：新任务能快速再优化
碰上没见过的任务，传统数据混合要重新配比、重新训练，成本很高，所以很难快速适配。OptiMer 的做法是复用已经训好的分布向量，只换评估目标，合并权重就会自动调整。针对英文任务优化，能得到对应任务的最高分；转向数学再优化，数学表现就不错；针对日语再优化，很快就能得到一个日语特化模型。
工业部署里这种情况很普遍。一家公司要做教育、金融等不同领域的特化模型，传统方法在训练数据配比上得反复试错，而 OptiMer 能自动、快速地给出特化模型。
分析 1：分布向量为什么能合并
从不同数据里学到的能力，合并时会不会彼此打架？团队算了每两个分布向量之间的余弦相似度：分布向量与指令遵循向量之间只有约 0.03，基本垂直；不同分布向量之间约 0.3。他们据此推测，DARE 这类现有合并算法可以把不同向量合得比较无损。
分析 2 | 分布向量的主成分分析
他们用主成分分析把高维分布向量投到二维平面上。之所以是二维，是因为这里的向量来自两个模型参数之差，维度和模型参数量一致。投影之后能看出，在不同数据上做持续预训练得到的分布向量，跟指令遵循向量离得挺远。再看 OptiMer 给出的合并权重柱状图，它更愿意把大权重分给指令遵循向量，分给数据分布向量的权重则偏小。结果就是，OptiMer 合出来的最优模型，位置其实落在 Base 模型与 IT 模型连线的附近——可以理解为从 PT 到 IT 画出的那条线。他们据此推测，好模型应该就出在这条线附近。
分析 3 | OptiMer 的搜索过程
至于 OptiMer 是怎么一步步逼近最佳合并权重的，左图给出的是权重空间，右图记录的是搜索过程中分数的爬升情况。
左图显示，高分组合挤在一个相当窄的区间里，这个区间内指令遵循向量拿到较大权重，数据分布向量权重较小。这正好说明 OptiMer 采用贝叶斯优化，比网格搜索更占优势：网格搜索容易漏掉目标，数据集一多尤其明显；而 OptiMer 大致只需搜索 10*n 次，n 代表数据集个数。
右图则反映出，OptiMer 的贝叶斯优化会参考已有数据点，把后面的搜索逐步收拢到更有希望的区域。所用算法支持并行搜索，每轮同时找 8 个点，前期把整个空间探一遍，中期收敛很快，到后期就找到了本轮搜索的最高分。
分析 4 | 训练中的向量变化
为追踪模型的变化，他们记录了持续预训练过程中不同训练步的模型。主图画的是这些向量在 PCA 平面上的轨迹，小图则给出向量长度和模型得分随训练步数的变化。
左图显示，持续预训练走出的轨迹接近一条直线。加大或减小分布向量的权重，效果类似于在该数据集上增加或削减有效训练量。
右图则显示，训练推进过程中分布向量的模长不断变长，模型表现则在训练前期冲到峰值，之后慢慢回落。据推测，这说明模型不能离基座模型太远。分析 2 里也提到过同样的猜想。
分析 5 | 拓展到负权重
分布向量的权重可以被设成负值。他们发现，有些时候结果反而更好。这是否意味着 OptiMer 能做机器反学习，有选择地忘掉数据里的部分知识，进而在目标任务上表现更佳？论文没有继续追这个问题，但作者认为它很有意思。
应用 | 构建日语特化模型
团队把 OptiMer 用到了 AI Singapore 的 Gemma-SEA-LION-v4-27B 上。该模型以 Gemma 3 为基础，此前已在东南亚语言上做过持续预训练。
他们想做到的是：东南亚语言能力留下来，同时把日语能力提上去。
具体做法是，分别用日语、中文、英语、数学和代码五类数据做持续预训练，从中提取分布向量，再把它和 SEA-LION 的指令遵循向量合并，以日语任务表现为目标去搜索合并权重。
结果日语得分由66.34升到74.40，东南亚语言任务上的表现也没有丢。
结语
用OptiMer把开源大模型适配到目标语言或领域，比传统的数据混合做法更省事、效果更好，用起来也更灵活。
不过，这次实验只做在持续预训练阶段。团队表示，后续想把这套思路推到后训练，去解决后训练里数据集数量庞大、配比难以最优的问题。
