NICT OptiMer:不重训模型,如何快速锁定最优数据配比?

资讯 AI 应用前沿 全文 3475 字 · 约 9 分钟读完 配图 13 张 分类并购学术研究大模型

大模型训练中,数据配比调优通常意味着昂贵的从头重训。日本信息通信研究机构(NICT)团队在EMNLP 2026获奖论文中提出OptiMer方法,通过合并“分布向量”来搜索最优数据比例。该方法将试错效率提升15至35倍,且在C-Eval、MMLU等基准测试中得分高于传统混合训练。文章解析了其技术原理、实验效果及在构建日语

所属频道 模型发布融资与资本前沿研究

数据配比的困局:试错成本太高

搞过大模型训练的人都清楚,最让人犯难的往往不是架构怎么设计,而是“数据到底该怎么喂”。

图片

中文、英文、代码、数学题在训练集里各放多少?这个比例得在开训之前定下来。麻烦的是,配比行不行,要等模型跑完、评测分数出来才见分晓。效果不理想,传统办法就是改比例、从头再训一轮。基座模型动辄要烧掉数千张显卡小时,这么试错的代价实在太高。

图片

能不能不重新训练,就快速找到最优的数据配比?

图片

日本信息通信研究机构(NICT)的宋海越及其团队在最新论文《OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training》里给了一个巧妙的答案。这篇论文拿到了 EMNLP 2026 的杰出论文奖(Outstanding Paper Award),全部 17,661 篇投稿中只有 22 篇获此殊荣。

图片

他们的核心思路是:别混数据,混“变化量”。

图片

OptiMer 是怎么工作的?

图片

OptiMer 的全称是 Optimal Distribution Vector Merging(最优分布向量合并)。原本要反复训练的过程,被它拆成了三个步骤,让“训练”和“搜索”各管各的。

图片

第一步:分别训练,提取“能力变化”

图片

做法是先从同一个基座模型出发,在不同数据集上分别做持续预训练。假设手头有日语、中文、数学三类数据,那就用这三类数据各自去微调基座模型,最后得到三个独立的模型。

图片

关键的一步来了:计算“分布向量”。

图片

把每个微调后模型的参数减去原始基座模型的参数,差值就是“分布向量”。它描述的是模型学过特定数据之后,参数空间往哪个方向偏了。也可以把它看成模型在这个领域拿到的“能力增量”。

图片

第二步:自动搜索最优合并比例

图片

拿到代表各项能力的向量之后,下一步是把它们拼起来。新模型的权重由下式给出:

图片

基座模型权重 + (日语向量 × 比例A) + (中文向量 × 比例B) + (数学向量 × 比例C) + (指令遵循向量 × 比例D)

式中的比例 A、B、C、D,正是需要找出的最优配比。OptiMer 借助贝叶斯优化算法,在验证集上自动搜这组系数的最佳搭配。这一步只对已有权重做线性组合和评估,没有反向传播,也不做梯度更新,因此速度很快。第三步则是复用与指导。

搜出来的最优权重,能直接拿去生成最终模型。研究还发现了一个更有意思的用法:把这些向量权重当成数据采样的比例,反过来指导传统的数据混合训练,重新训练出的模型,效果往往也胜过盲目均匀采样。

效率提升 15 到 35 倍

速度是 OptiMer 最直观的长处。传统数据混合方法里,试一种新配比就得把整个训练流程完整跑一遍,实验中单次训练耗时约 129.3 小时。若要测试 100 种不同配比,计算量就上万小时,工程上基本没法做。

相比之下,OptiMer 做完最初几个独立训练后,试 100 种配比组合只要 8.5 小时。配比优化环节的效率提升了 15 到 35 倍。过去要花几周才能跑完的超参数搜索,如今研究人员一天之内就能完成。

效果不仅快,还更好

快并不等于质量打折。在 C-Eval、Japanese Leaderboard、MMLU、GSM8K 和 HumanEval 等多个主流基准测试中,OptiMer 生成的模型平均得分 70.37,传统数据混合训练的平均分为 63.71,高出约 6.7 分。这个结果打破了常见的直觉——以为直接把数据混在一起训练,模型就能更好地融合知识。实际上,走向量合并这条路,模型能更精准地控制不同领域知识的注入量,避开无关领域的干扰。

为什么这种方法行得通?

不少人会担心:把不同数据训练出来的参数差值直接相加,会不会引发知识冲突或者灾难性遗忘?团队用多项分析解释了背后的机理。

1. 向量之间的正交性

团队对不同分布向量两两之间的余弦相似度做了测算。算下来,各数据领域的分布向量彼此相似度在 0.3 左右;它们与指令遵循向量之间只有 0.03,几乎是垂直关系。换句话说,各领域学到的“能力变化”在参数空间里指向差别不小,彼此搅扰有限。像 DARE 这类现有的模型合并算法,应付这种合并还算顺手。

2. 最优解在“连线”附近

团队又用主成分分析(PCA)把高维参数压到二维平面上看,结果 OptiMer 搜出来的最优模型,大多贴着基座模型(Base)与指令微调模型(IT)之间的连线。算法给出的权重也有偏好:指令遵循向量拿到的权重偏大,特定数据分布向量则偏小。这背后是个挺有意思的判断——好的特化模型未必需要在参数空间里走很远,挪一点、再把指令遵循能力做强,效果常常最好。

3. 贝叶斯优化的优势

搜索时,高分组合扎堆在一片比较窄的区间里。网格搜索在这里容易漏掉,贝叶斯优化却能借着已有评估结果,很快把重点收拢到有戏的区域。实验里,大致搜 10×n 次(n 指数据集数量)就能摸到接近最优的解。

4. 训练轨迹的线性特征

如果盯住持续预训练时参数怎么变,会发现模型的移动轨迹差不多是条直线。把某个分布向量的权重调大,实质上相当于在这个数据集上多跑了一些有效训练步数。可训练步数一多,模型表现往往先冲到峰值再往下掉——偏离基座太远,就会过拟合或者能力退化。OptiMer 靠限定权重范围,把这个问题挡在了外面。

团队另外注意到,分布向量的权重还能取负值。也就是说,OptiMer 有潜在的“机器反学习”本事:减掉某些向量,就能有选择地忘掉数据里的噪声或负面知识。文章没就此展开,但这里头的空间不小。

实战:构建日语特化模型

团队把方法放进真实场景里跑了一遍:做一个日语特化模型,看看效果如何。

基座选的是 AI Singapore 发布的 Gemma-SEA-LION-v4-27B,该模型以 Gemma 3 为基础,在东南亚语言上做过持续预训练。团队要做的,是在不丢掉东南亚语言能力的前提下,把日语能力明显拉上去。

做法是分别在日语、中文、英语、数学和代码五类数据上做持续预训练,提取出分布向量。接着以日语任务表现为目标,去搜索这些向量跟 SEA-LION 指令遵循向量之间的最佳合并权重。

测试结果不错:日语任务得分从 66.34 升到 74.40,东南亚语言任务上的表现也没有明显下滑。同样的效果若走传统路线,往往要反复调多语言数据的混合比例、多次重训,成本高,还很难保证原有能力不受影响。

换任务也不用重训

灵活性是 OptiMer 的另一大长处。

工业界的模型需求变得很快。今天要一个金融特化模型,明天可能又要一个教育助手。按传统做法,每次都得重新备数据、调配比、再训练,周期长、花费也高。

有了 OptiMer,只要手上已有各基础领域(金融文本、教育文本、通用文本等)的分布向量,遇到新任务换掉评估目标,把快速搜索算法再跑一遍就行。不用重新训练,几分钟到几小时内就能得到针对新任务优化过的模型权重。

这种“一次训练,多次复用”的路子,把大模型定制化部署的门槛压下去了不少。

局限与未来

当然,OptiMer 眼下主要用在持续预训练阶段。后训练(Post-training)阶段,像 RLHF、DPO,数据配比一样复杂、一样要紧。团队表示,希望以后把这一思路延伸到后训练,去处理那边规模更大的数据集配比问题。

负权重还能挖出多少潜力、能不能兼容更多领域向量,这些也留给后续研究。

结语

大模型竞争进入“拼数据质量”“拼领域适配”的下半场,数据怎么高效用起来成了关键。OptiMer 给出的思路跳出了传统数据混合框架:把训练和配比搜索拆开,用向量代数解工程上的难题。

对资源有限的研究团队和企业来说,它不只是更快的算法,还是一种更省钱、更灵活的模型开发方式。算力贵的时代,好的算法设计照样能释放不小的红利。


这项研究是宋海越在日本国立研究开发法人信息通信研究机构(NICT)任职期间完成的,他眼下在 Preferred Networks 大语言模型开发部后训练组担任工程师。2024 年,他从京都大学拿到信息科学博士学位,本科则就读于上海交通大学。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI读长文档是真理解还是表面匹配:LongR用信息增益给引用打分

    你有没有遇到过这样的情况:让AI帮你从一份几十页的合同里找某条关键条款,它给出的答案看起来头头是道,结果你一核对,发现它根本没找对地方,甚至压根没把合同看完就开始编了?这不是你一个人的经历。2026年初,一篇名为LongR的论文揭示了一个挺扎心的事实:当下的大语言模型在处理长文档时,很多时候靠的不是真正的阅读...

    来源 腾讯网
  2. 清华米哈游等团队测试AI看视频:最强模型仅得13.2分

    你有没有想过一个问题:AI 看视频到底是在看什么?如果你给一个大模型放一盘国际象棋的对局录像,让它说出"白方在第29步用象吃掉了黑方的马,这步棋让白方占据优势",它能做到吗?这听起来像是最基础的视频理解任务。但一支由清华、中科院、香港大学和游戏公司米哈游组成的研究团队做了一个实验,结果让人意外:目前最强的...

    来源 腾讯网
  3. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  4. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  5. 蚂蚁灵波开源LingBot-Touch:机器人触觉乱码如何破解?

    蚂蚁灵波团队开源了LingBot-Touch,这是一个专门处理触觉信号的预训练基础模型。它能把磁触觉、视触觉等不同传感器的原始数据,统一翻译成机器人动作模型能听懂的“触觉Token”。这个模型只有几百万参数,却能即插即用,直接挂载到现有的机器人控制策略上。在拉拉链、拧瓶盖这些精细活上,它让机器人的成功率提升了20%以上

    来源 AI 应用前沿
  6. 清华江瑞课题组发布ProtCell:在摩尔线程S5000上复现预训练

    IT之家 11 月 14 日消息,据摩尔线程公众号,近日,清华大学自动化系江瑞课题组发布了面向单细胞蛋白组的基础模型 ProtCell,完成了论文《ProtCell:a foundation model for single-cell proteomics》。该模型汇集约 3.8 亿个细胞、98 个公开数据集用于预训练

    来源 AI 行业观察
  7. 谷歌 Gemini4Carbon 入驻 WorkBuddy,百万 Token 上下文向 Pro 用户开放

    腾讯 WorkBuddy 国际版于11月15日宣布正式接入谷歌 Gemini4Carbon 大模型,面向复杂推理和长周期任务处理场景提供模型支持,目前仅向 Pro 计划用户开放。 Gemini4Carbon 是谷歌面向长周期智能体工作流推出的模型,适用于复杂知识工作、软件工程、网络安全及科学推理等任

    来源 AI 开发者社区
  8. Gemini被称美国豆包,张一鸣活成中国布林:两人都把时间押给AI

    在太平洋两岸的科技版图上,一种奇妙的镜像正在发生。大洋彼岸的硅谷,早已退居幕后的 Google 联合创始人 Sergey Brin (谢尔盖布林)重新走进办公室,与一线研究员并肩推演大模型架构。而在亚洲,2021 年便将字节跳动 CEO 权杖交给梁汝波、此后极少公开露面的张一鸣,也正以一种高密度、深介入的姿态重回技术腹

    来源 腾讯网
  9. 腾讯WorkBuddy接入Gemini4Carbon:百万Token上下文向Pro用户开放

    腾讯WorkBuddy国际版11月15日宣布接入谷歌Gemini4Carbon大模型,面向复杂推理和长周期任务,目前仅向Pro计划用户开放。该模型面向长周期智能体工作流,适用于复杂知识工作、软件工程、网络安全及科学推理,支持文本、图像、音频和视频多模态输入,输入输出合计上下文窗口最高达100万Token。

    来源 AI 产业速递
  10. 百望股份CEO王强宇:AI财税产品如何落到任务链上

    企业把大模型接进产品之后,新的经营问题才刚刚展开。客户提出一项任务,系统能拿到哪些信息,由谁核准结果,出现例外时如何处理,都会影响AI能否持续投入使用。产品演示中的能力,需要经由完整的服务过程才能转化为客户价值。 王强宇出任百望股份首席执行官(CEO),为观察这项变化提供了一个具体切口:王强宇如何将百望的财税场景积累转

    来源 AI 行业观察
  11. VLM记忆机制综述出炉:八机构联合提出4D分类框架

    来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。论文:Memory

    来源 腾讯网
  12. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  13. llama.cpp 1.0.0 发布:150+ 模型架构支持,离线跑大模型

    IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文,宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。 IT之家查询公开资料,Gerganov 是开源项目 llam

    来源 AI 行业观察
  14. 阿里Qwen4-Max发布:总参数2.4T,单任务平均费用降六成

    新京报贝壳财经讯(记者罗亦丹)11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max以更少的Token消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在权威的全球前端编程盲测CodeArena中,Qw

    来源 腾讯网
  15. 40核老服务器无显卡跑通2.8万亿参数Kimi K3,傲腾内存成关键

    在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器,竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。 挑战硬件极限:巨型大模型遇上老旧服务器 作

    来源 AI 开发者社区
  16. Marvell斥资1150亿美元收购Lumentum,科技史最大并购案诞生

    近日,美国芯片公司Marvell(中文名称:美满科技)宣布,已与光通信器件制造商Lumentum(中文名称:朗美通)签署最终协议,以全股票方式收购后者,交易隐含企业价值约1150亿美元,折合人民币7671亿元。这无疑是一笔足以引爆全球科技行业的并购交易。首先从金额来看,1150亿美元已经超过当年微软收购动视暴雪时的69

    来源 腾讯网
向下滚动自动加载更多