上海AI实验室联合华东师大训练MLExpert:350亿参数模型自主做实验
2026年初,如果你去问一个机器学习工程师,什么工作最消耗脑力又最难自动化,很多人会提到一件事:调试一个训练了八小时却跑崩了的模型,然后决定下一步该往哪个方向改。这件事难就难在,它不是一次性的判断题。你改了一个参数,等几个小时跑出结果,发现分数反而掉了,这时候你得想清楚是哪一步出了问题,是数据处理方式不...
2026年初,要是找一位机器学习工程师聊聊,哪项工作最费脑子、又最难交给机器,答案里多半会出现同一件事:模型跑了八个小时结果崩了,接下来往哪个方向调,得靠人来拍板。
麻烦在于,这活不是做一次判断就能收工。改掉一个参数,等上几个小时看结果,分数不升反降,那就得琢磨问题出在哪一步——数据处理的法子不对、模型选型有偏差,还是过拟合了。想清楚了再动手,再等几个小时。一个像样的项目,这样的来回可能得走几十轮。
AI4AI这个说法在圈子里已经流传了好几年,指的就是拿AI去做AI本身的研发,它被看作通往“递归自我提升”的一条路径。头疼的地方在于:怎样让AI自己跑完这种耗时长、要反复判断的实验,而不是每一步都由人类写脚本安排。
上海人工智能实验室和华东师范大学团队的这篇论文,盯的正是这件事。他们训出一个叫MLExpert的模型,规模350亿参数(每次只激活约30亿),目标是让它像真正的算法工程师那样,自己动手做实验、看结果、改方向,一路跑到底。
在MLExpert出现之前,多数自动化机器学习系统走的是另一条路。那时的AI工程师,更像流水线上的工人。
**外部编排**:人类先把工作流程或搜索规则写好,规定AI到第几步干什么,AI只在这些固定节点上写代码、修bug。
这种设计的问题在哪?设想厨房里有位经验老到的厨师,想调一道新菜的配方,老板却定了死流程:先炒糖色,再下肉,最后勾芡,顺序一步不能动,厨师只能在每个固定环节里调火候。可实际做菜常常是尝一口发现味道不对,得回头重想调料配比,而不是机械地把剩下的流程走完。厨师被流程锁死,就永远没法按实际味道调整整体思路,只能在别人划好的格子里打转。
论文提到的AIDE、MLE-STAR等系统,大体都是这个模式:外部控制器拿着预先设计好的搜索规则,调度几个LLM worker分头起草代码、调试代码、挑选方案,决策权并不在模型手上。
新近出现的Arbor、Argus这类系统,开始把实验状态交给模型自己掌管,由它决定继续还是推翻重来。方向上这是个转变,但训练出这种能力本身就不容易。
论文作者归纳出三个难点。一是环境设计:开放式的机器学习任务,需要一个既能保留实验状态、又把决策权完全交给模型的交互环境,此前没人认真做过这件事。
二是数据质量:一条几十轮的交互轨迹里,有的决策是聪明的探索,有的是失败后的补救,还有的纯粹是瞎改。混在一起喂给模型,等于什么都学了一点,什么都没学精。
三是反馈延迟:做一次实验往往要等很久才出结果,而这个结果反映的是前面好几步决策的综合效果,不是哪一步单独的功劳或过错。强化学习该怎么把这份延迟反馈,准确分摊到对应的那几步决策上?
这三个问题,决定了论文后面所有设计的走向。
先造一个“可执行的练习场”:Kaggle-MLE Factory
要让AI自主做实验,先得有大量真实、可执行的任务供它练手。团队的办法是把历史上的Kaggle竞赛改造成可执行任务,这套系统叫**Kaggle-MLE Factory**。
**Kaggle-MLE Factory:一条多智能体流水线,专门把真实的历史Kaggle竞赛数据,转换成带公开工作区、隐藏测试集和统一评分接口的可执行训练任务**
起点是一份包含11649场竞赛的元数据快照。团队设计了一个发现智能体,按赛事完成度、参赛队伍数量(至少50支)、数据规模上限(200GB)等条件筛候选任务,同时兼顾图像、文本、音频、表格数据和时间序列等不同数据模态的覆盖。
筛出候选后,分析智能体负责解析数据结构和字段含义,生成器智能体据此准备数据、从原始带标签数据里划出一个隐藏测试集,再实现专门的评分脚本。整个任务还要在真实数据上跑一遍,由验证智能体检查数据完整性、提交格式和评分行为是否正常,有问题就打回去修。
最终,团队从160个通过自动校验的任务里人工剔除了6个存在标签或评分问题的,留下154个正式投入使用。
这像是个什么过程?
打个比方,就是把各处收来、格式乱七八糟的旧试卷,统统改造成有标准答案、能自动判分的规范考题。跳过这一步,直接拿原始Kaggle竞赛数据去训练模型,格式对不上、评分标准又含糊,模型很可能把精力花在"怎么应付古怪的数据格式"上,而不是"怎么把机器学习做好"。代价是前期得投入大量人力搭出这套流水线,换来的是之后训练能在干净统一的环境里稳定跑下去。
让模型真正握住决策权:Interaction Harness
任务备好了,还得有个让模型自己施展的场地,论文称之为**Interaction Harness**
**Interaction Harness(交互脚手架):一套按ReAct式循环运转的交互系统,关键之处在于实验路径怎么走完全由模型自己定,不靠外部搜索策略**
每一次实验的状态,包括代码、执行日志和各种元信息,系统都存成一个"解决方案节点",父子节点连起来就是一棵实验树。树上任何节点模型都能回看,再决定接着往下走、退回某个节点重来,还是干脆换条路。
工具给得很全:跑代码、分析结果、改代码、查历史、管理提交候选。模型用execute_code做实验,用update_answer更新它眼下认为最好的提交方案。交互历史快顶到上下文长度上限时,早先的对话会被自动摘要,只留下最近的交互细节。
论文里还埋了个挺有意思的设计:
**analyze工具:把复杂的数据探索和结果诊断交给一个拥有独立上下文的分析子智能体,主模型只拿回分析摘要**
这么设计,是为了别让海量的数据探索细节把主模型的上下文塞满。好比项目经理不必亲自翻每一行原始日志,听分析师汇报结论就够了。
还有个invalidate_node工具,专门应付过拟合或数据泄漏把验证分数抬虚的情况。模型一旦发现某个候选方案的分数不可信,就能主动把它标成无效,把干扰排除掉。
这套设计针对的核心矛盾是什么?
要是实验路径的分支选择权还捏在外部规则手里,模型就始终只是在执行指令,练不出真正的判断力。这就像让学徒严格照菜谱做菜,他永远学不会没有菜谱时自己开发新菜。只有把决策权真正放下去,模型犯的错、绕的弯路、最后的开窍,才算它自己的经验,练出来的能力才谈得上泛化的判断力,而不是记住某套固定套路。
两阶段的分层监督微调
任务和交互环境都有了,下一步是怎么教模型。团队走的是两阶段的**分层智能体SFT**
**SFT(Supervised Fine-Tuning,监督微调):拿人类或更强模型生成的高质量示范数据,让模型照着学正确的行为模式**
第一阶段用StepFun提供的通用编程和工具调用轨迹,先把最基础的工具使用和代码修改能力教给模型。说白了,先让它会用工具、能读懂反馈,专业判断的事往后放。
第二阶段才是重头。团队引入机器学习领域的示范轨迹,还有从Nature系列论文改编来的科学实验任务轨迹,这批数据教的是怎么设计算法、分析实验、迭代优化。
这里有个设计值得细说,叫**结果引导的监督选择**
它要解决的是前面提到的第二个难点:长轨迹里好决策和坏决策混在一起,怎么把有用的部分挑出来训练。
团队的办法是,盯住一条完整轨迹里所有提交方案的分数变化,找到第一次出现最好分数的位置,再看这之后模型是继续变好还是开始退步。退化幅度超过设定阈值(论文里取的是5%),就以"第一次达到最优"那个点作截断锚点,只用这之前的轨迹训练;要是没明显退化,就保留到最后一次提交为止。
这对应什么场景?
假设你在整理一份考试复盘材料,想拿去教新人怎么备考。复习路上有一段,学生从60分一路刷到95分,这段值得学。可要是之后因为钻牛角尖,反倒从95分掉回80分,这段"画蛇添足"的经历就不该当正面教材全盘照收。不加筛选地把整个过程喂给新人,新人很可能学到那种"复习到后期反而变差"的坏习惯,分不清哪段才真值得模仿。结果引导的筛选,就是帮模型剪掉这种"由好变坏"的噪音尾巴,只留下真有参考价值的探索过程。
训练时另一个细节:损失函数只算模型新生成的推理内容、文本回复和工具调用,工具返回的结果和历史对话内容只当上下文参考,不进训练损失。这样模型学的是"该怎么决策",而不是死记环境返回了什么。
WIRL:让延迟反馈准确落到对应的那一步决策上
分层SFT帮模型学会了模仿,可模仿总有天花板。真正把MLExpert的能力再往上推一层的,是论文里的核心创新WIRL(Windowed Interaction Reinforcement Learning,窗口化交互强化学习)。
WIRL是一种强化学习方法:两次实验结果中间的所有模型决策被打包成一个"执行窗口",这次实验的最终结果则给整个窗口配一个共享奖励。
这个设计针对的正是前面提到的第三个难点——一次实验反馈回来,背后其实是此前好几轮分析、改代码、调工具合在一起的结果,功劳并不属于某一步。
奖励具体怎么算?
论文给出了一套分级奖励机制。模型的操作本身把执行搞崩了,奖励为-1.0;没出错但拿不出可评分的提交,奖励为-0.6;提交了、分数却没摸到奖牌门槛,奖励为-0.4再加趋势分;铜牌或银牌是1.0加趋势分;金牌则是2.0加趋势分。
"趋势分"同样关键:它拿当前这次有效提交和上一次有效提交作比较,看是进步、持平还是退步——进步加0.2,退步减0.2,持平则不变。
这样捕捉到的是局部优化往哪个方向走,而不只是绝对分数的高低。
和标准GRPO(Group Relative Policy Optimization,组相对策略优化)相比,WIRL的不同在于不做组内相对归一化,而是把这个可验证的执行奖励直接当作共享权重,加到窗口内所有模型输出的token上。
为什么要丢掉组内归一化?机器学习任务的评估指标和分数尺度差别太大,一个任务的好分数可能是0.95,另一个任务的好分数可能是12.3,硬做组间比较没有意义。改用任务专属的奖牌门槛当统一参照,反倒更公平。
这套窗口化设计像什么?
可以想象一位足球教练复盘比赛:他不会给整场90分钟笼统打一个分,而是把比赛切成一个个进攻回合来看。每个回合从拿球开始,到射门或丢球结束,这段时间里前锋、中场、后卫的一连串配合,共同决定这个回合进没进球。教练给这个回合里所有参与的球员打相同的回合评分,而不是等整场比赛结束再笼统评价所有人。如果非要等90分钟踢完才给出唯一一个评价,教练根本分不清是第37分钟那次传球出了问题,还是第62分钟防守失位出了问题。窗口化的设计,就是把一场漫长比赛切成一个个能独立评估的回合,让反馈精准落到对应的那一段决策上。
工程上还有一道难题:异步收集与策略校正。
不同实验耗时差得很远,有的几分钟就跑完,有的要跑好几个小时,一条完整轨迹可能横跨好几次策略更新。也就是说,收集到的某些数据是"旧版本"模型生成的,并非当前正在训练的这个版本。
团队的做法是记录采集时的log概率,再和训练当下的log概率比较,算出一个校正系数。系数落在合理区间内,就按权重纳入训练;偏差太大,这个token就被排除在更新之外,不参与梯度计算。
这相当于什么?
好比工厂的质检流程:不同批次的产品在不同时间段、由不同状态的机器生产出来。要是把早期机器和当前机器生产的产品直接混在一起打分,不做任何校准,质检结果就会失真。策略校正做的就是给每批产品打上生产时间戳,对那些和当前机器状态差异过大的产品数据适当降权甚至剔除,让质检结果反映当前机器的真实水平,而不是被过时数据带偏。
效果到底如何
设计思路说了这么多,最终还是要看结果。
团队把主要评测放在MLE-Bench Lite上,这是从MLE-Bench里挑出的22个历史Kaggle竞赛子集,专门衡量端到端的机器学习工程能力。
结果相当亮眼:MLExpert把基座模型Qwen3.6-35B-A3B的平均奖牌率从37.9%提升到了72.7%。
这是什么概念?
同样规模(350亿参数)的其他模型里,表现最好的Nex-N2.5-mini奖牌率也只有47.0%。而72.7%已经和参数量大得多的GLM-5.3、Kimi-K3这类前沿模型打平。一个规模不算顶尖的模型,靠后训练方法追上了大模型的表现,说明决定上限的不只是参数量,训练方法本身的价值被证明是实打实的。
更值得关注的是,换到Claude Code这种通用编程工具环境下测试(而非MLExpert专属的交互环境),MLExpert依然保持69.7%的奖牌率,比基座模型的42.4%高出27.3个百分点,比同规模最强基线也高出22.7个百分点。可见训练带来的能力提升不是针对特定交互环境的"作弊式"优化,换个环境照样好用。
团队围绕每个训练阶段分别做了消融,逐段看它到底带来多少增益。基座模型奖牌率37.9%,接上通用智能体SFT后升到47.0%,再叠加机器学习领域SFT达到62.1%,最后引入WIRL,数字定格在72.7%。每一段训练都换来了实打实的提升。
强化学习这一环,团队把WIRL与标准GRPO、PPO风格优化放在一起比。GRPO只跑到56.1%,PPO风格优化为60.6%,两个数都低于仅做SFT的62.1%。去掉趋势奖励的WIRL变体拿到66.7%,去掉策略校正的变体是65.2%,完整版WIRL则来到72.7%。窗口化本身、局部趋势奖励、策略校正这三项设计,少掉哪一项都会掉分。
那这种能力能不能泛化出去?
自然要追问一句:MLExpert掌握的究竟是只对Kaggle竞赛套路管用的“应试技巧”,还是真正可迁移的优化能力。
团队把验证放在**NatureBench Lite**上,这套任务由Nature系列期刊论文改编而来,共十个科学实验任务,用来考察AI能否复现、甚至超过已经发表的科研结果。
**Surpass-SOTA(超越已发表最优水平)**:模型结果明显高于论文报告的最佳结果,超出幅度大于10%。
**Match-SOTA(达到已发表最优水平)**:模型结果不低于论文报告的最佳结果。
结果是,MLExpert把Surpass-SOTA比率从基座模型的0.0%提到50.0%,Match-SOTA比率从40.0%升到70.0%,与参数规模大得多的GLM-5.3持平。
可见模型学到的不只是“怎么在Kaggle上拿奖牌”,还有一种更通用的长程实验优化判断力。
团队另外设计了两个跨任务测试,第一个是智能体脚手架优化:让模型改进一段调用GPT-4.1-nano的Python代码框架,用来解答AIME数学竞赛题,测试落在没见过的年份上。MLExpert优化出的脚手架在留出测试集上准确率43.7%,基座模型只有23.3%,高出整整20个百分点。
更耐人寻味的是,只做了SFT阶段的MLExpert-SFT调用次数更少(3.51次,Kimi-K3为8.65次),准确率却已接近Kimi-K3(38.1%对40.0%)。这说明它学会了更省地使用有限的调用资源,而不是靠反复尝试硬堆结果。
第二个测试在MLS-Bench-Lite上做算法组件优化,覆盖语言模型去遮罩策略、多目标优化、因果图发现等12个不同领域。MLExpert平均归一化奖励从0.322升到0.425,12个任务里10个更好,1个打平,仅1个略逊。
这种跨完全不同领域的泛化能力,是整篇论文里最让我觉得值得玩味的部分。
一个具体的案例
论文还给出了一个具体案例,很能说明问题。
团队挑中MLSP 2013 Birds这个鸟类声音分类任务,完整追踪了MLExpert的优化路径。它从音频特征加LightGBM这样的简单组合起步,逐渐换到PANNs(预训练音频神经网络)的嵌入特征,再走到AST(音频谱变换器)微调加注意力池化加MLP分类头,收尾时用了更长的训练周期和快照平均。
最终完整版MLExpert把ROC-AUC从0.58推到0.964,只做SFT的版本则是从0.60升到0.88。两个模型起点相近,完整版走得更远。
拉开这段差距的正是WIRL这个强化学习阶段:模型不再照搬示范轨迹里的固定套路,而是学会依据实际反馈不断调整方向,哪怕已经走到看起来不错的中间状态(0.88),仍有判断力继续往前推到更好的结果(0.964)。
写在后面
读完论文,有个细节一直在我脑子里转:团队做的异步学习器等待时间对比实验里,GRPO的学习器有87.6%的时间在空等数据,WIRL只有39.3%。
很多人没留意这一点:强化学习训练效率上不去,症结常常不在算法,而在数据怎么流动。一条机器学习实验轨迹跑完也许要十几个小时,要是非得等整条轨迹结束才更新一次模型,训练就慢得厉害。WIRL把窗口切小、异步收集,其实是在工程上补了算法层面常被忽略的一环。换句话说,方法好不好使,数学上精不精妙只是一面,还得看它跟现实的时间节奏对不对得上。
另一个让我反复琢磨的地方,是论文里那个“结果引导的监督选择”机制,它本质上是在教模型区分“运气好”和“真的学会了”。一条轨迹如果分数先涨后跌,该学前半段还是整条都不学?团队选择只保留涨到顶点为止的那部分。这种处理方式背后有一种克制:不是所有数据都值得学,哪怕它来自一次“成功”的实验。
论文没回答的问题同样清楚。眼下验证过的场景,多是表格、图像、音频这些比较成熟的机器学习任务;换成更开放的科研问题,比如要提出全新假设、设计全新实验范式,这套方法还管不管用,论文没说。NatureBench Lite只复现了已发表的结果,可真正意义上的科研突破,常常出现在“没有人知道答案”的地方。
一个AI系统能不能提出连人类研究者都没想到的实验方向,这大概是下一个值得追问的问题。
Q&A
Q1:MLExpert是什么?
MLExpert出自上海人工智能实验室等团队之手,是一个350亿参数的混合专家模型。设计实验、分析反馈、迭代优化方案,这些机器学习工程任务它能自主完成。在MLE-Bench Lite上,基座模型的奖牌率原本是37.9%,用上MLExpert后升到72.7%。
Q2:WIRL和普通的强化学习方法有什么不同?
WIRL的做法是,把两次实验结果之间所有模型决策打成一个执行窗口,再用这次实验的结果给整个窗口分配共享奖励。它还支持异步收集数据和策略校正,所以不必等完整轨迹跑完就能开始学习。实验显示,它的效果优于GRPO和PPO风格优化。
Q3:MLExpert的能力只能用在Kaggle类竞赛上吗?
不是。论文验证了它在多个跨领域任务上都有明显提升,包括NatureBench科学任务复现、AIME数学竞赛智能体脚手架优化、MLS-Bench算法组件优化。这说明它学到的是可迁移的长程实验优化判断力。