NICT OptiMer:不重训模型,如何快速锁定最优数据配比?
大模型训练中,数据配比调优通常意味着昂贵的从头重训。日本信息通信研究机构(NICT)团队在EMNLP 2026获奖论文中提出OptiMer方法,通过合并“分布向量”来搜索最优数据比例。该方法将试错效率提升15至35倍,且在C-Eval、MMLU等基准测试中得分高于传统混合训练。文章解析了其技术原理、实验效果及在构建日语
数据配比的困局:试错成本太高
搞过大模型训练的人都清楚,最让人犯难的往往不是架构怎么设计,而是“数据到底该怎么喂”。

中文、英文、代码、数学题在训练集里各放多少?这个比例得在开训之前定下来。麻烦的是,配比行不行,要等模型跑完、评测分数出来才见分晓。效果不理想,传统办法就是改比例、从头再训一轮。基座模型动辄要烧掉数千张显卡小时,这么试错的代价实在太高。

能不能不重新训练,就快速找到最优的数据配比?

日本信息通信研究机构(NICT)的宋海越及其团队在最新论文《OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training》里给了一个巧妙的答案。这篇论文拿到了 EMNLP 2026 的杰出论文奖(Outstanding Paper Award),全部 17,661 篇投稿中只有 22 篇获此殊荣。

他们的核心思路是:别混数据,混“变化量”。

OptiMer 是怎么工作的?

OptiMer 的全称是 Optimal Distribution Vector Merging(最优分布向量合并)。原本要反复训练的过程,被它拆成了三个步骤,让“训练”和“搜索”各管各的。

第一步:分别训练,提取“能力变化”

做法是先从同一个基座模型出发,在不同数据集上分别做持续预训练。假设手头有日语、中文、数学三类数据,那就用这三类数据各自去微调基座模型,最后得到三个独立的模型。

关键的一步来了:计算“分布向量”。

把每个微调后模型的参数减去原始基座模型的参数,差值就是“分布向量”。它描述的是模型学过特定数据之后,参数空间往哪个方向偏了。也可以把它看成模型在这个领域拿到的“能力增量”。

第二步:自动搜索最优合并比例

拿到代表各项能力的向量之后,下一步是把它们拼起来。新模型的权重由下式给出:

基座模型权重 + (日语向量 × 比例A) + (中文向量 × 比例B) + (数学向量 × 比例C) + (指令遵循向量 × 比例D)
式中的比例 A、B、C、D,正是需要找出的最优配比。OptiMer 借助贝叶斯优化算法,在验证集上自动搜这组系数的最佳搭配。这一步只对已有权重做线性组合和评估,没有反向传播,也不做梯度更新,因此速度很快。第三步则是复用与指导。
搜出来的最优权重,能直接拿去生成最终模型。研究还发现了一个更有意思的用法:把这些向量权重当成数据采样的比例,反过来指导传统的数据混合训练,重新训练出的模型,效果往往也胜过盲目均匀采样。
效率提升 15 到 35 倍
速度是 OptiMer 最直观的长处。传统数据混合方法里,试一种新配比就得把整个训练流程完整跑一遍,实验中单次训练耗时约 129.3 小时。若要测试 100 种不同配比,计算量就上万小时,工程上基本没法做。
相比之下,OptiMer 做完最初几个独立训练后,试 100 种配比组合只要 8.5 小时。配比优化环节的效率提升了 15 到 35 倍。过去要花几周才能跑完的超参数搜索,如今研究人员一天之内就能完成。
效果不仅快,还更好
快并不等于质量打折。在 C-Eval、Japanese Leaderboard、MMLU、GSM8K 和 HumanEval 等多个主流基准测试中,OptiMer 生成的模型平均得分 70.37,传统数据混合训练的平均分为 63.71,高出约 6.7 分。这个结果打破了常见的直觉——以为直接把数据混在一起训练,模型就能更好地融合知识。实际上,走向量合并这条路,模型能更精准地控制不同领域知识的注入量,避开无关领域的干扰。
为什么这种方法行得通?
不少人会担心:把不同数据训练出来的参数差值直接相加,会不会引发知识冲突或者灾难性遗忘?团队用多项分析解释了背后的机理。
1. 向量之间的正交性
团队对不同分布向量两两之间的余弦相似度做了测算。算下来,各数据领域的分布向量彼此相似度在 0.3 左右;它们与指令遵循向量之间只有 0.03,几乎是垂直关系。换句话说,各领域学到的“能力变化”在参数空间里指向差别不小,彼此搅扰有限。像 DARE 这类现有的模型合并算法,应付这种合并还算顺手。
2. 最优解在“连线”附近
团队又用主成分分析(PCA)把高维参数压到二维平面上看,结果 OptiMer 搜出来的最优模型,大多贴着基座模型(Base)与指令微调模型(IT)之间的连线。算法给出的权重也有偏好:指令遵循向量拿到的权重偏大,特定数据分布向量则偏小。这背后是个挺有意思的判断——好的特化模型未必需要在参数空间里走很远,挪一点、再把指令遵循能力做强,效果常常最好。
3. 贝叶斯优化的优势
搜索时,高分组合扎堆在一片比较窄的区间里。网格搜索在这里容易漏掉,贝叶斯优化却能借着已有评估结果,很快把重点收拢到有戏的区域。实验里,大致搜 10×n 次(n 指数据集数量)就能摸到接近最优的解。
4. 训练轨迹的线性特征
如果盯住持续预训练时参数怎么变,会发现模型的移动轨迹差不多是条直线。把某个分布向量的权重调大,实质上相当于在这个数据集上多跑了一些有效训练步数。可训练步数一多,模型表现往往先冲到峰值再往下掉——偏离基座太远,就会过拟合或者能力退化。OptiMer 靠限定权重范围,把这个问题挡在了外面。
团队另外注意到,分布向量的权重还能取负值。也就是说,OptiMer 有潜在的“机器反学习”本事:减掉某些向量,就能有选择地忘掉数据里的噪声或负面知识。文章没就此展开,但这里头的空间不小。
实战:构建日语特化模型
团队把方法放进真实场景里跑了一遍:做一个日语特化模型,看看效果如何。
基座选的是 AI Singapore 发布的 Gemma-SEA-LION-v4-27B,该模型以 Gemma 3 为基础,在东南亚语言上做过持续预训练。团队要做的,是在不丢掉东南亚语言能力的前提下,把日语能力明显拉上去。
做法是分别在日语、中文、英语、数学和代码五类数据上做持续预训练,提取出分布向量。接着以日语任务表现为目标,去搜索这些向量跟 SEA-LION 指令遵循向量之间的最佳合并权重。
测试结果不错:日语任务得分从 66.34 升到 74.40,东南亚语言任务上的表现也没有明显下滑。同样的效果若走传统路线,往往要反复调多语言数据的混合比例、多次重训,成本高,还很难保证原有能力不受影响。
换任务也不用重训
灵活性是 OptiMer 的另一大长处。
工业界的模型需求变得很快。今天要一个金融特化模型,明天可能又要一个教育助手。按传统做法,每次都得重新备数据、调配比、再训练,周期长、花费也高。
有了 OptiMer,只要手上已有各基础领域(金融文本、教育文本、通用文本等)的分布向量,遇到新任务换掉评估目标,把快速搜索算法再跑一遍就行。不用重新训练,几分钟到几小时内就能得到针对新任务优化过的模型权重。
这种“一次训练,多次复用”的路子,把大模型定制化部署的门槛压下去了不少。
局限与未来
当然,OptiMer 眼下主要用在持续预训练阶段。后训练(Post-training)阶段,像 RLHF、DPO,数据配比一样复杂、一样要紧。团队表示,希望以后把这一思路延伸到后训练,去处理那边规模更大的数据集配比问题。
负权重还能挖出多少潜力、能不能兼容更多领域向量,这些也留给后续研究。
结语
大模型竞争进入“拼数据质量”“拼领域适配”的下半场,数据怎么高效用起来成了关键。OptiMer 给出的思路跳出了传统数据混合框架:把训练和配比搜索拆开,用向量代数解工程上的难题。
对资源有限的研究团队和企业来说,它不只是更快的算法,还是一种更省钱、更灵活的模型开发方式。算力贵的时代,好的算法设计照样能释放不小的红利。
这项研究是宋海越在日本国立研究开发法人信息通信研究机构(NICT)任职期间完成的,他眼下在 Preferred Networks 大语言模型开发部后训练组担任工程师。2024 年,他从京都大学拿到信息科学博士学位,本科则就读于上海交通大学。