递归智能体自己出题自己打分,同济等团队提出先立细则再执行
你有没有想过一个问题:如果让一个学生自己出题、自己答题、还自己判卷,这场考试还有多少可信度?这正是训练"递归智能体"时,研究者们撞上的墙。递归智能体递归智能体:一种能把大任务拆分成小任务,再把小任务交给另一个"自己"去完成的AI系统,就像一个项目经理把工作分给下属,下属又可以再往下分听起来很美好。你让AI去...
不妨先想一个场景:让学生自己出题、自己答题、再自己判卷,这场考试的成绩还能信几分?
训练"递归智能体"时,研究者碰上的正是这道坎。
递归智能体
所谓递归智能体,指的是能把大任务切成小任务、再把小任务交给另一个"自己"去做的AI系统。打个比方,像项目经理把活分给下属,下属还能继续往下派。
听着挺美。让AI写一份研究报告,它会把活儿拆成"查资料""分析数据""写初稿"几块,每块再交给一个"分身"处理,分身忙不过来还能接着拆。整件事最终长成一棵树。
麻烦就出在训练这棵树的过程里。
最终成果是好验证的:报告写得行不行、代码跑不跑得通,都有标准答案。可树中间那些花样百出的子任务呢?它们是AI临时想出来的,世上压根不存在"这个子任务干得好不好"的标准答案。每回都请人类专家给每个节点打分?成本高得根本训不起。
所以现在的通行做法是找个裁判——可能是一段验证代码,也可能是另一个大模型当评委——给树上每个节点判一个对或错的二元分数。办法能用,但研究团队发现它有3个硬伤。
头一个是粗。二元对错标签分不清"做得漂亮"和"勉强过关",也看不出某棵最终成功的树里其实埋着几处糊弄过去的子任务。
第二个是贵。树上有多少节点,就得调用多少次裁判;任务一复杂,这笔开销会线性甚至更快地往上蹿。
第三个最隐蔽,也最致命:这种打分压根不管任务拆得好不好。它只回答"这个子任务完成没有",从不回答"这个子任务该不该被拆出来"。
论文作者来自同济大学、上海人工智能实验室、上海交大、北大、南大等机构。这群研究者把困境归纳成一句很实在的话:递归智能体其实同时在干三件事——拆解任务、执行子任务、评估结果,而这三件事要靠同一套模型参数来完成。
又当裁判又当选手,这局怎么破?
设想一个厨师既掌勺又给自己打分、还凭这个分数决定加不加薪,他打的分你信吗?多半不信。打分的人和被打分的人利益绑得太紧,分数很容易悄悄往对自己有利的方向偏。递归智能体的根本矛盾正在这里:执行和评估共用一套权重,处理不好,两边会一起"合谋"把分数越抬越高,实际表现却原地踏步。
研究者给这套系统起了个名字。
先把规矩立好再动手:打分细则(Rubric)机制
SERA
评分细则(Rubric)
细则必须在子任务开工之前写好并冻结;子任务跑完后,由同一个策略模型另做一次独立调用(不参与梯度更新),拿着这份冻结的细则去打分。打分分两步走:先判断子任务到底完成没有——完成了才有得分资格,没完成直接零分;再按细则逐条给分、加权求和,得出一个0到1之间的连续分数。
为什么非得"先写细则,再看结果",而不能让模型看完结果再编一套说法来打分?
拿考试出题和阅卷的先后顺序打个比方就明白了。要是评分标准等阅卷老师看完学生答案才临时编,那这套标准几乎必然会朝着那份答案去调,学生写得好赖都能找到给高分的理由。反过来,评分标准在出卷时就定死、锁进保险柜,考完才拿出来对照,分数才真正有约束力。
可光有细则还不够。没经过专门训练的模型,写出来的评分标准本身可能就错,或者跟真实的子任务质量对不上号。这种细则看着再言之凿凿,拿它打出的分数去指导训练,效果也好不了。
实验数据印证了这一点。研究者做了一个叫
用排序代替打分:靠谱的评分标准怎么训出来
那怎样才能让模型写出靠谱的评分标准?
直觉路子是:既然最终任务有真实奖励,就拿这个奖励反向训练细则生成模块——细则打分越高、最后任务做得越好,越说明细则写得好。
问题很快就冒出来了:细则生成和任务执行共用同一套参数。真拿任务奖励去训细则,这两个功能会一块儿朝“把分数做高”的方向走,而不是朝“把分数打准”的方向走。评委和选手领的是同一份工资,考核发钱的还是同一个人,分数自然一路往上飙,考试本身的区分度反倒没了。
SERA换了个思路,找一个外部、独立的锚点:用验证过的结果来训细则生成,而且只在训细则这一步用,绝不直接拿去给执行过程打分。
落到操作上,每个委派节点,研究者会把当时的环境状态复制出多份,让同一个子任务跑出B组不同的尝试(论文里用的是8组)。其中1组照常走递归执行流程,其余几组专门拿来训练细则生成模块。
这几组尝试各自会拿到一个外部验证的结果,在排序目标(Ranking Objective)下使用。
这个设计巧的地方在于,它绕开了“打分必须绝对精确”这个很难达到的目标,只要求“相对排序正确”。好比体育比赛,裁判不用精确测出两个运动员谁快了0.03秒还是0.05秒,只要能分清谁先到终点就行。相对判断比绝对判断容易得多,也稳得多。
细则生成训好之后会怎样?论文的核心发现就在这儿:加上这一步训练,在后续任务上效果出现明显变化。
这说明什么?评估能力和执行能力被正确地耦合在一起训练时,学会评判会反过来重塑模型解决问题的方式,这是本文反复强调的核心发现。模型不是先学会做事再学会评判;学会评判的过程本身,让它对“什么是好的解决方案”有了更清晰的内在标准,这个标准接着指导它怎么做事。
论文还专门测了另一种训细则的思路:不用外部验证的成功失败做锚点,而是奖励细则打分在一组候选答案里“分数分散度大”,这是此前一些相关研究采用的做法。结果成功率从74.84%直接掉到65.77%,跌了9.07个百分点。原因也不难理解:分数分散不等于分数准确,一个把所有答案的排序完全颠倒的细则,分散度照样很大,这种信号很容易被模型“钻空子”利用,而不是真正学会判断好坏。
叶子覆盖率:谁在真正承担拆解任务的工作
打分解决的是“子任务做得好不好”,但还有一个问题没碰:任务到底该不该这样拆?
研究者于是引入另一个独立的奖励信号,叫叶子覆盖率奖励,专门针对“委派”这个动作本身。
所谓叶子节点(Leaf Node),是任务树最末端、实际干活的那一层。
叶子覆盖率(Leaf Coverage)衡量的就是委派出去的工作占整体工作量的比重。
逻辑是这样:一次委派决策如果撑起了整个任务里相当大一块实际工作量,那它就是有价值的、结构性的决策,应该拿到更高奖励。反过来,一次委派只是走个过场,把一件自己三两下就能干完的小事随手丢给别人,那它对整个任务的贡献微乎其微,奖励应该接近于零。而且,只有整棵任务树最终真正成功了,所有委派动作才能获得这个奖励,失败的树里所有委派动作一律是零分。
现实工作里也常碰到同样的难题:到底怎么分清“有价值的分工”和“推卸责任式的走形式分工”。设想一位团队经理,把团队八成实际工作量都拆给下属承担,这说明他的任务规划是有效的;可如果他只是象征性地分出去几件鸡毛蒜皮的小事,自己照样大包大揽,那这种“委派”既没真正降低复杂度,也没体现出规划能力。要是不用这项奖励去纠偏,模型就可能学出一套投机取巧的委派方式——表面上用了委派功能,实际上并没把复杂问题真正拆解清楚。
实验显示,这个奖励的效果在任务之间差异很大。在相对独立、互不干扰的子任务场景下效果更明显。
三股力量轮流上场。
执行奖励、委派奖励、细则生成奖励,这三股力量不能一股脑混在一起训练。
研究者的解释是,如果把三个目标的梯度同时叠加到一次更新里,目标之间互相干扰、数值尺度又不一样,训练很容易不稳定。
SERA 实际采用的比例,是执行训练、委派训练、细则生成训练按 16 比 2 比 2 轮换。之所以这样安排,是因为任务树里绝大多数词元(token)都落在执行训练上,性能提升主要靠它,占大头理所应当;委派训练和细则生成训练则只要周期性小幅调整,就足以分别改善拆解质量和打分标准的准确度。
这有点像学乐器的过程。学钢琴的人,大部分时间都在练曲子本身,但隔一阵子也要停下来专门练乐理、练视唱练耳——这些并不需要每天投入大块时间,却直接影响练曲子的效率和上限。SERA 的三阶段轮换其实也是这个道理:大头精力放在“把活干好”这件最直接的事上,同时留一小部分精力去打磨“怎么判断活干得好不好”和“怎么把活拆得更合理”这两件更底层、同样重要的事。
外部监督变得更便宜了
这篇论文还有一个容易被忽略但很实际的发现:训练出靠谱的自我评估能力之后,对外部裁判的依赖反而大幅下降了。
论文给出了一组具体数字。在TextCraft-Synth上,程序验证器的调用次数从55万次降到26万次,大约降到原来的一半不到。在TextWorld-Sync上,外部大模型裁判的调用次数从14.78万次降到3.58万次,下降超过4倍,输入词元消耗量从6.34亿降到1.25亿,下降超过5倍。
原因并不难懂。SERA只在“训练细则生成”这一个环节动用外部监督,模型训练完成之后,平时执行任务靠的是自己给出的分数,外部裁判压根不用再叫。这有点像带新人做质检:前期得靠老师傅手把手教、一遍遍校准评判标准,等新人真把标准吃透了,往后的日常质检就不必老师傅每次都到场盯着。
推理阶段同样能用这套评分系统
训练出来的细则并非用完即弃,模型真正干活的时候,它照样能派上用场。
研究者搭了一个带选择环节的树搜索流程:任务树的每个节点上,模型先出两个候选方案,再用训练好的细则分别打分,留下分数高的那个;随后从叶子节点往根节点一层层回溯,每一步都取当前已知的最优解。
这一流程在TextWorld-Sync上又带来2.43个百分点的额外提升,平均成功率从65.07%升到67.50%,极难级别任务的成功率则从22.86%升到28.95%。更有意思的是,让训练好的小模型自己当裁判,跟请外部Kimi大模型来当裁判,结果几乎没差别(67.50%对67.29%)。
可要是没经过SERA训练,这套选择机制基本失灵。研究者拿未经训练的基础模型做对比,发现让它自己挑候选方案,平均成功率反而掉了0.22个百分点,困难和极难级别的成功率一直是零。道理很直白:没训练过的模型既生不出足够好的候选方案,也分辨不出哪个方案更优,巧妇难为无米之炊。
这组对比正好说明,SERA的训练过程干了两件事:一是让模型把每个子任务做得更好,二是真把模型练成了一个靠谱的自我评估者。这份评估能力在训练结束后还能继续起作用,变成推理阶段可以反复取用的资源。
两个测试场景,两种不同的挑战
论文用了两个基准测试来检验这套方法,它们分别对应两种难度不同的现实情境。
TextCraft-Synth是个合成物品制作环境,智能体需要查配方、递归地把子制作任务委派出去。它的特点是每个子任务都有确定性的程序验证器,能独立核验对错。也就是说,在这个场景里SERA训练细则生成根本不需要外部大模型裁判,程序本身就是现成的裁判。
TextWorld-Sync则是研究者自己在
在这两个基准上,SERA相比最强的对比方法
写在后面
读完这篇论文,让我感触最深的其实不是那些具体的数字提升,而是它点出的一个更根本的认知:一个系统既要做事、又要评判自己做得怎么样,这两种能力就绝不能用同一套没有约束的反馈循环去训练,否则大概率会变成互相讨好,而不是互相校准。
这个道理其实不限于AI训练。任何组织,如果让同一批人既定KPI又自己打分发奖金,时间一长分数必然失真,这几乎是制度设计上的常识。有意思的是,这篇论文用严谨的消融实验,把这个常识在AI训练场景里精确量化了出来:光给出更细的打分标准没用(只提升3.33个百分点,甚至反而下降),拿分数分散度当信号会出问题(下降9.07个百分点),真正管用的是用一个外部的、独立的验证结果去锚定评分标准的训练,同时让评分完全不掺和进直接的任务奖励循环。这种“用一次性的外部监督去训练一个可复用的内部裁判”的思路,其实是很聪明的监督成本摊销策略,有点像花大价钱培养一个内部审计员,往后就不必事事都请外部审计机构了。
论文也坦承了一些局限:只在40亿参数规模的模型上验证过;叶子覆盖率奖励对所有叶子节点一视同仁,没有考虑不同子任务的重要性差异;这套自我评估机制理论上仍有被“钻空子”的风险,只是实验设计相对克制住了。这些留白恰恰说明,它不是已经封顶的方案,而是一条刚刚被证明走得通的路径。
一个会自己出考卷、还懂得不作弊的AI学生,接下来会学成什么样子?
Q&A
Q1:SERA是什么?
A:SERA 是“自我评估递归智能体”的缩写,属于一种训练方法,拆解任务、执行子任务、评估结果这三项能力被放在一起训练。做法是:模型在把任务交出去之前先自己写一份评分细则,随后拿这份细则给子任务打分,再用验证结果去训练这套打分标准,让它本身更准。
Q2:SERA和之前的
A:在TextCraft-Synth基准上平均成功率提升5.38个百分点,在TextWorld-Sync基准上提升13.14个百分点,推理阶段加入细则引导的树搜索后还能再提升2.43个百分点。
Q3:SERA为什么能减少对外部裁判的依赖?
A:SERA 只在生成评分细则这一步借助外部验证结果或大模型裁判,日常执行时打分靠的是模型自己训练出来的评分标准。因此在 TextWorld-Sync 上,外部裁判调用次数降了 4 倍以上,输入词元消耗降了 5 倍以上。