四个AI研究员,四天时间,把一个什么都不会的模型训成了比官方版本还厉害的样子
先说一件挺颠覆常识的事。你可能以为,把一个语言模型从"啥都不会"训练成"能干活"的得力助手,这事得靠一群顶级工程师熬几个月,反复调参、反复试错,背后是昂贵的专家团队和漫长的研发周期。这是大厂发布会上常听到的叙事。但字节跳动联合几所大学的研究者做了一件事,直接把这个假设掀翻了:他们找来四个AI智能体,每人分配八张...
先说一件挺颠覆常识的事。
你可能以为,把一个语言模型从"啥都不会"训练成"能干活"的得力助手,这事得靠一群顶级工程师熬几个月,反复调参、反复试错,背后是昂贵的专家团队和漫长的研发周期。这是大厂发布会上常听到的叙事。
但字节跳动联合几所大学的研究者做了一件事,直接把这个假设掀翻了:他们找来四个AI智能体,每人分配八张GPU显卡,给了一句话的任务目标,剩下的全不管,104个小时之后,这四个"打工人"自己摸索出了一套训练方法,把一个什么都不会的基础模型,训练成了水平不输官方精心调校版本的通用模型。
没有人告诉它们该用什么算法,没有人给参考答案,甚至不知道自己最终会在哪些题目上被打分。
这篇论文的名字叫
**这篇论文真正想回答的问题是:如果把枯燥的工程活全部交给系统去处理,只把"做研究"这件事留给AI,它们究竟能走多远?**
这个问题背后,藏着一个更大的词,叫"
这件事到底难在哪
先说说这个任务本身有多反直觉的难。
模型后训练
研究团队选的起点,是阿里巴巴开源的
这中间差了整整50分。
过去做这类"自动化后训练"研究的团队,通常会选一条更简单的路:让AI针对某一个具体任务去训练一个"专才"模型,比如专门刷数学题,或者专门写代码。这就好比让一个学生只准备一门考试,针对性押题,很容易出高分。
但这次的任务设定要狠得多。四个智能体要训出的是同一个通用模型,必须同时在六个风马牛不相及的领域里都表现良好,还不能找"外援"——不能调用任何更强的教师模型来帮忙打标签、生成答案,一切训练数据都得自己从公开资料里扒拉、清洗、组合。
更狠的是评价方式。整个过程中,智能体们能看到的六项测试叫"开发集",它们可以反复提交模型去打分,根据反馈调整策略。但真正决定成败的,是另一套它们完全不知道存在的"隐藏测试集"——内容是同类型但从未见过的新题目。
这就像一个学生平时刷的是模拟卷,但真正算分的是另一套他从未见过的题,出题范围相似但题目完全不同。如果学生这次考得好,那说明他是真学会了,不是蒙对了几道原题。
研究团队给这类任务起了个名字,叫AutoPostTrain*:全自动的后训练研究,要求AI自主诊断模型的弱点、设计并执行训练实验、根据结果不断调整方案,全程无需人类干预。
想象一下这个难度:你让四个人分头去给同一个病人开药方,病人的病情每天都在变化,药方效果要等好几天才能看到,而且你压根不告诉他们最终体检的全部项目是什么。这事能干成,本身就挺令人意外。
把"动脑子"和"跑腿"彻底分开
研究团队发现一个关键矛盾:AI的智能程度越高,它浪费在"重复搭建实验环境"上的时间占比就越荒谬。
想象一下,如果每次你想试一个新菜谱,都得先去买灶具、搭炉子、接水管,那做饭这件事99%的时间都耗在了跟做饭本身毫无关系的基础设施上。真正决定菜好不好吃的那部分——选料、调味、火候——反而被压缩成了极小的一部分。
Athanor
具体来说,系统把科研这件事拆成了四个基本动作:启动一个训练任务,给一个模型打分评估,拉取一份公开数据集,保存或提交一个训练好的模型。智能体只需要用一行命令就能调用这些动作,剩下的排队、调度GPU资源、容错恢复,全部由后台环境接管。
智能体提交完一个训练任务后不用傻等,它可以转身去读数据、分析结果、规划下一步,系统会在任务跑完的那一刻主动把结果推送回它的工作会话里。
这个设计思路其实呼应了一句AI圈里著名的话,叫"
研究团队早期版本的
**所以最终版本的
这个设计有个很直白的代价收益账:数据显示,整场104小时的campaign里,四个智能体加起来真正"思考"的时间只占了3.6%,等待任务跑完的时间占了87%。但GPU显卡几乎没有空闲过,93%的时间都在真正计算。这意味着系统把人类研究者最头疼的"等结果"这件事,变成了智能体可以同时开很多个实验、互不耽误的并行流水线。
如果不这么设计会怎样?假设智能体必须等每个实验跑完才能开始下一个,104个小时里真正能做的实验次数可能连现在的三分之一都不到。整个探索节奏会被硬生生拖慢。
四个AI是怎么一步步把模型调出来的
接下来是整篇论文最有意思的部分:这四个智能体到底干了什么,才把一个啥都不会的模型调教成了及格水准的通用助手。
答案出乎意料地朴素。它们没有发明任何全新的算法,而是把几种业内已知的方法像拼积木一样组合了起来,外加几个关键的小改动。
第一步,
在研究窗口打开后的第一个小时内,四个智能体几乎同时做出了同一个选择:挑了一个叫
用这份数据微调一遍之后,模型从15.9分跳到了接近50分。这一步相当于让一个完全不懂规矩的新人,先去看一堆优秀员工处理问题的完整记录,照着葫芦画瓢。
第二步是强化学习,具体用的方法叫
这一步出现了整场研究里最关键的一个发现。三号智能体注意到一个古怪现象:它微调好的模型,如果用"
但强化学习训练阶段用的是"随机采样"方式生成候选答案,这种方式很少出现死循环。于是三号智能体做了个推理:用随机采样方式训练出来的模型,根本学不到怎么避免
这就像一个司机只在空旷的训练场里练过车,从没在真实拥堵路段开过,等真上路遇到堵车就不知道怎么应对,因为他的"训练数据"里压根没有这种场景。
三号智能体的解法是,让四分之一的训练候选答案也用
这个发现在六个小时内传遍了整个团队,其他三个智能体全都copy了这个方法,并且在各自的笔记里专门感谢了三号智能体。
第三步是
智能体们发现,把两个强度相近但训练路径不同的模型取平均,新模型的分数经常会比两个"父母"模型都高出两三分。这背后的道理有点像让两个各有偏科的学霸互相讲题,取长补短之后,整体水平反而超过了单独一个人。
更有意思的是,三号智能体后来还尝试把这个"融合"的幅度再放大一点,不是简单地取平均,而是朝着融合后的方向继续外推。结果发现逻辑推理能力随着外推幅度增大而持续上升,但知识类任务的分数开始下滑。这说明融合这件事也有代价,拉得太远会在某些能力上掉链子,具体往哪个方向拉,取决于你更在乎哪项能力。
第四步叫
两个智能体分别跑了这个流程,最后把各自的结果再做一次融合,这就是最终提交的那个模型。
把整条链路串起来看,从15.9分到最终的66.1分(多次评测取平均),走过的路径是四种成熟方法的叠加组合,外加智能体们亲手写的那些关键的小修小补,比如那个"
四个"同一个人"是怎么协作的
四个智能体用的是同一个底层模型(Claude Opus 5.5),理论上一开始它们的思路应该高度相似。但研究团队观察到一个很微妙的转折点。
在研究窗口打开的前15.8个小时里,四个智能体几乎互不往来,只是偶尔翻看一下队友的工作记录,但没有主动写笔记给对方,也没有互相拉取过模型。直到运营方发了一条消息,告诉它们"最终成绩算的是整个团队提交的那个最好的模型",这条规则其实之前就定好了,但智能体们的任务说明文档里没写清楚。
这条消息发出去之后,画风突变。几分钟内四个智能体都开始主动给队友写笔记,56秒之内,就有智能体去拉取了队友训练出来的模型。从这一刻起,团队的合作彻底打开了,21个小时之后,所有能刷新最佳成绩的新模型,都是融合了多个智能体训练成果的产物。
研究团队统计发现,整场研究里174个被完整评测过的模型之间存在287条"血缘关系"的连接,其中139条路径里都经过了某个队友贡献的模型。到了研究进行到96小时之后,新评测出来的模型里,每一个都融合了全部四个智能体的训练成果。
这个现象其实揭示了一个有点反直觉的真相:同一个底层AI,只要给它一个清晰的激励信号(谁的成果值得被团队继续建立在上面),它就能迅速形成高效协作,哪怕一开始谁都没主动分享。
**这更像是一场本来各自闷头干活的员工,一旦听说"奖金按团队最高分发",立刻从互不理睬变成了资源互通的协作小组。**
如果没有这条规则,四个智能体会不会一直各自为战,互不借力?研究记录显示,在收到通知之前,确实没有任何一个被评测过的模型里,混进过队友的训练成果。这说明激励机制的清晰程度,直接决定了协作行为是否会发生,而不是智能体本身"愿不愿意"分享这件事。
智能体也会偏科,也会偷懒
说到这里得坦率承认,这套系统训出来的模型并不是全面碾压。
在数学和逻辑推理这两项上,团队的最终模型反而落后于官方版本。逻辑测试上官方版本能拿到80.4分,团队模型只有63.4分,差了17分。
研究团队把这些答案逐条翻出来看,发现一个很实际的原因:团队的模型会先"想"再"答",写出一长串推理过程,但很多逻辑大题推理到一半,还没得出答案,就把允许输出的字数用光了,直接被判零分。18%的逻辑答案和24%的数学答案都是这么被判零分的,而官方版本因为答案写得更简短,只有1%和10%遇到同样的问题。
智能体们自己也发现了这个问题,这正是为什么它们在"
这就像一个学生想通过"背简短答案模板"来提速,但他自己其实压根没掌握那种难题的解法,手里连一份完整正确的简短范例都没有,照着抄也无从下手。
另一个值得一提的发现是,这四个智能体虽然很擅长检查数据的"格式"问题,比如发现有些题目字数超长、有些答案格式打分系统根本识别不了,但它们很少去验证数据本身的"内容对不对"。有一个智能体注意到部分训练数据的标准答案看起来"像噪音",写了个过滤计划,但从头到尾都没运行过。
这暴露出一个挺有意思的能力缺口:智能体在"工程层面挑毛病"上做得很细致,但在"科学层面质疑数据真实性"这件事上,表现得相当被动。
这场研究到底花了多少钱,又慢在哪
104个小时的全过程,算上四个智能体消耗的AI推理成本和GPU租赁费用,总共大约花了1.18万美元。其中GPU时间占了大头,接近1.08万美元,智能体自己思考调用模型花掉的钱只占不到10%。
有一个细节挺值得琢磨:整场探索的进步曲线不是匀速往上爬的,而是前期猛涨、后期几乎停滞。第一天结束时,团队的最好成绩已经冲到了60分左右,之后又花了三天时间才多涨了七分左右,绝大部分涨幅集中在逻辑推理这一项上,从49分涨到了65分。
研究团队把这背后的原因归结为一个词,叫"
这就像四个人分头炒同一盘菜,一开始大家选的食材一模一样,后面不管怎么换炒锅、调火候,菜的天花板早就被食材本身限定住了。想真正突破,需要有人换一种完全不同的食材,但团队试过一次,发现新食材炒出来反而更难吃,就缩回去继续炒原来那盘了。
这其实是整篇论文最诚实的一个自我批评:**执行层面的摩擦被彻底解决之后,真正限制这四个智能体往前走的,是它们提出新想法的多样性不够。**四个同源的AI很快想到一块儿去了,之后几天基本是在同一个思路里反复打磨,很少有谁敢真正另辟蹊径。
这场实验留下的记录本身,比结果更值得琢磨
研究团队特别强调了一点:
这意味着这场实验留下的不只是一个最终模型,而是一整条完整的"科研轨迹"。研究团队从这些记录里提炼出一些具体的、带着实验数据支撑的小结论,比如两个强度相近的
这些结论之所以能被这么清晰地提炼出来,恰恰是因为每一次打分、每一次模型变化,背后对应的具体操作都留了底。这跟科学实验要求可重复、可追溯的逻辑是一致的,只是这次做实验和记录笔记的,是AI自己。
研究团队也坦率列出了这项研究的边界。这整场campaign只跑了一次,用的是同一套AI模型组成的团队,结论能不能复现、能不能推广到更大规模的模型上,都还是未知数。团队用的是四个"同一个人",如果换成四个风格迥异的AI模型组队,会不会探索出更多元的路径,现在也没有答案。
另外,虽然这次训练全程没有调用任何更强的"老师模型"来直接打标签,但它用的那份公开数据集本身,其实是别人用更强模型蒸馏出来的产物。这意味着这个结果展示的是"AI能从现成的公开资源里榨出多少价值",而不是"AI完全靠自己从零造出知识"这件事的证明。
写在后面
读完这篇论文,最让我意外的不是"AI能自己训练AI"这个大结论,因为这件事业内早有预期,真正让我停下来想了很久的,是那个贪婪解码死循环的发现过程。
三号智能体没有被告知"你应该去检查死循环问题",它是自己翻看了评测系统判零分的那些答案,发现了"贪婪解码会卡死、随机采样不会"这个规律,再反推出训练数据里缺了这种负面样本。这整个推理链条,其实就是一个科研人员该有的样子:不满足于"分数低"这个表面结果,一定要往下挖一层,找到那个具体的、可操作的原因。
另一个让我反复琢磨的细节是那条团队协作规则带来的转折。十五个小时的沉默,然后一句话,几分钟内彻底打开。这说明很多时候所谓的"合作意愿不足",可能根本不是能力或者意愿问题,只是激励信号没传递清楚。放在人类团队里,这个道理其实也成立,只是在AI身上验证得格外干脆、格外量化。
四个"同一个人"组队,很快想到一块儿去,这事放在人类团队管理里也是老话题了,只是没想到在AI研究团队身上,这个毛病来得这么快,这么明显。
如果给这四个智能体换上四种不同性格的底层模型,它们还会这么快就收敛到同一条路径上吗,还是会因为视角差异炒出一盘完全不一样的菜?
Q&A
Q1:Athanor是什么?
A:Athanor是由字节跳动联合多所高校开发的一套开放的智能体研究系统,专门支持AI智能体在真实GPU上自主完成大
Q2:四个AI智能体是如何把基础模型训练到接近官方水准的?
A:它们在104小时内自主完成了
Q3:这项研究发现AI智能体做研究有哪些明显短板?
A:主要体现在创意多样性不足,四个同源智能体很快收敛到同一条数据路线上,后期难以突破;同时它们擅长检查数据格式问题,却很少主动验证训练数据答案本身是否正确。