递归智能体自己出题自己打分,同济等团队提出先立细则再执行

资讯 腾讯网 作者:科技行者 全文 5510 字 · 约 14 分钟读完 分类教育 AI智能体

你有没有想过一个问题:如果让一个学生自己出题、自己答题、还自己判卷,这场考试还有多少可信度?这正是训练"递归智能体"时,研究者们撞上的墙。递归智能体递归智能体:一种能把大任务拆分成小任务,再把小任务交给另一个"自己"去完成的AI系统,就像一个项目经理把工作分给下属,下属又可以再往下分听起来很美好。你让AI去...

所属频道 智能体与 Agent行业落地

不妨先想一个场景:让学生自己出题、自己答题、再自己判卷,这场考试的成绩还能信几分?

训练"递归智能体"时,研究者碰上的正是这道坎。

递归智能体

所谓递归智能体,指的是能把大任务切成小任务、再把小任务交给另一个"自己"去做的AI系统。打个比方,像项目经理把活分给下属,下属还能继续往下派。

听着挺美。让AI写一份研究报告,它会把活儿拆成"查资料""分析数据""写初稿"几块,每块再交给一个"分身"处理,分身忙不过来还能接着拆。整件事最终长成一棵树。

麻烦就出在训练这棵树的过程里。

最终成果是好验证的:报告写得行不行、代码跑不跑得通,都有标准答案。可树中间那些花样百出的子任务呢?它们是AI临时想出来的,世上压根不存在"这个子任务干得好不好"的标准答案。每回都请人类专家给每个节点打分?成本高得根本训不起。

所以现在的通行做法是找个裁判——可能是一段验证代码,也可能是另一个大模型当评委——给树上每个节点判一个对或错的二元分数。办法能用,但研究团队发现它有3个硬伤。

头一个是粗。二元对错标签分不清"做得漂亮"和"勉强过关",也看不出某棵最终成功的树里其实埋着几处糊弄过去的子任务。

第二个是贵。树上有多少节点,就得调用多少次裁判;任务一复杂,这笔开销会线性甚至更快地往上蹿。

第三个最隐蔽,也最致命:这种打分压根不管任务拆得好不好。它只回答"这个子任务完成没有",从不回答"这个子任务该不该被拆出来"。

论文作者来自同济大学、上海人工智能实验室、上海交大、北大、南大等机构。这群研究者把困境归纳成一句很实在的话:递归智能体其实同时在干三件事——拆解任务、执行子任务、评估结果,而这三件事要靠同一套模型参数来完成。

又当裁判又当选手,这局怎么破?

设想一个厨师既掌勺又给自己打分、还凭这个分数决定加不加薪,他打的分你信吗?多半不信。打分的人和被打分的人利益绑得太紧,分数很容易悄悄往对自己有利的方向偏。递归智能体的根本矛盾正在这里:执行和评估共用一套权重,处理不好,两边会一起"合谋"把分数越抬越高,实际表现却原地踏步。

研究者给这套系统起了个名字。

先把规矩立好再动手:打分细则(Rubric)机制

SERA

评分细则(Rubric)

细则必须在子任务开工之前写好并冻结;子任务跑完后,由同一个策略模型另做一次独立调用(不参与梯度更新),拿着这份冻结的细则去打分。打分分两步走:先判断子任务到底完成没有——完成了才有得分资格,没完成直接零分;再按细则逐条给分、加权求和,得出一个0到1之间的连续分数。

为什么非得"先写细则,再看结果",而不能让模型看完结果再编一套说法来打分?

拿考试出题和阅卷的先后顺序打个比方就明白了。要是评分标准等阅卷老师看完学生答案才临时编,那这套标准几乎必然会朝着那份答案去调,学生写得好赖都能找到给高分的理由。反过来,评分标准在出卷时就定死、锁进保险柜,考完才拿出来对照,分数才真正有约束力。

可光有细则还不够。没经过专门训练的模型,写出来的评分标准本身可能就错,或者跟真实的子任务质量对不上号。这种细则看着再言之凿凿,拿它打出的分数去指导训练,效果也好不了。

实验数据印证了这一点。研究者做了一个叫

用排序代替打分:靠谱的评分标准怎么训出来

那怎样才能让模型写出靠谱的评分标准?

直觉路子是:既然最终任务有真实奖励,就拿这个奖励反向训练细则生成模块——细则打分越高、最后任务做得越好,越说明细则写得好。

问题很快就冒出来了:细则生成和任务执行共用同一套参数。真拿任务奖励去训细则,这两个功能会一块儿朝“把分数做高”的方向走,而不是朝“把分数打准”的方向走。评委和选手领的是同一份工资,考核发钱的还是同一个人,分数自然一路往上飙,考试本身的区分度反倒没了。

SERA换了个思路,找一个外部、独立的锚点:用验证过的结果来训细则生成,而且只在训细则这一步用,绝不直接拿去给执行过程打分。

落到操作上,每个委派节点,研究者会把当时的环境状态复制出多份,让同一个子任务跑出B组不同的尝试(论文里用的是8组)。其中1组照常走递归执行流程,其余几组专门拿来训练细则生成模块。

这几组尝试各自会拿到一个外部验证的结果,在排序目标(Ranking Objective)下使用。

这个设计巧的地方在于,它绕开了“打分必须绝对精确”这个很难达到的目标,只要求“相对排序正确”。好比体育比赛,裁判不用精确测出两个运动员谁快了0.03秒还是0.05秒,只要能分清谁先到终点就行。相对判断比绝对判断容易得多,也稳得多。

细则生成训好之后会怎样?论文的核心发现就在这儿:加上这一步训练,在后续任务上效果出现明显变化。

这说明什么?评估能力和执行能力被正确地耦合在一起训练时,学会评判会反过来重塑模型解决问题的方式,这是本文反复强调的核心发现。模型不是先学会做事再学会评判;学会评判的过程本身,让它对“什么是好的解决方案”有了更清晰的内在标准,这个标准接着指导它怎么做事。

论文还专门测了另一种训细则的思路:不用外部验证的成功失败做锚点,而是奖励细则打分在一组候选答案里“分数分散度大”,这是此前一些相关研究采用的做法。结果成功率从74.84%直接掉到65.77%,跌了9.07个百分点。原因也不难理解:分数分散不等于分数准确,一个把所有答案的排序完全颠倒的细则,分散度照样很大,这种信号很容易被模型“钻空子”利用,而不是真正学会判断好坏。

叶子覆盖率:谁在真正承担拆解任务的工作

打分解决的是“子任务做得好不好”,但还有一个问题没碰:任务到底该不该这样拆?

研究者于是引入另一个独立的奖励信号,叫叶子覆盖率奖励,专门针对“委派”这个动作本身。

所谓叶子节点(Leaf Node),是任务树最末端、实际干活的那一层。

叶子覆盖率(Leaf Coverage)衡量的就是委派出去的工作占整体工作量的比重。

逻辑是这样:一次委派决策如果撑起了整个任务里相当大一块实际工作量,那它就是有价值的、结构性的决策,应该拿到更高奖励。反过来,一次委派只是走个过场,把一件自己三两下就能干完的小事随手丢给别人,那它对整个任务的贡献微乎其微,奖励应该接近于零。而且,只有整棵任务树最终真正成功了,所有委派动作才能获得这个奖励,失败的树里所有委派动作一律是零分。

现实工作里也常碰到同样的难题:到底怎么分清“有价值的分工”和“推卸责任式的走形式分工”。设想一位团队经理,把团队八成实际工作量都拆给下属承担,这说明他的任务规划是有效的;可如果他只是象征性地分出去几件鸡毛蒜皮的小事,自己照样大包大揽,那这种“委派”既没真正降低复杂度,也没体现出规划能力。要是不用这项奖励去纠偏,模型就可能学出一套投机取巧的委派方式——表面上用了委派功能,实际上并没把复杂问题真正拆解清楚。

实验显示,这个奖励的效果在任务之间差异很大。在相对独立、互不干扰的子任务场景下效果更明显。

三股力量轮流上场。

执行奖励、委派奖励、细则生成奖励,这三股力量不能一股脑混在一起训练。

研究者的解释是,如果把三个目标的梯度同时叠加到一次更新里,目标之间互相干扰、数值尺度又不一样,训练很容易不稳定。

SERA 实际采用的比例,是执行训练、委派训练、细则生成训练按 16 比 2 比 2 轮换。之所以这样安排,是因为任务树里绝大多数词元(token)都落在执行训练上,性能提升主要靠它,占大头理所应当;委派训练和细则生成训练则只要周期性小幅调整,就足以分别改善拆解质量和打分标准的准确度。

这有点像学乐器的过程。学钢琴的人,大部分时间都在练曲子本身,但隔一阵子也要停下来专门练乐理、练视唱练耳——这些并不需要每天投入大块时间,却直接影响练曲子的效率和上限。SERA 的三阶段轮换其实也是这个道理:大头精力放在“把活干好”这件最直接的事上,同时留一小部分精力去打磨“怎么判断活干得好不好”和“怎么把活拆得更合理”这两件更底层、同样重要的事。

外部监督变得更便宜了

这篇论文还有一个容易被忽略但很实际的发现:训练出靠谱的自我评估能力之后,对外部裁判的依赖反而大幅下降了。

论文给出了一组具体数字。在TextCraft-Synth上,程序验证器的调用次数从55万次降到26万次,大约降到原来的一半不到。在TextWorld-Sync上,外部大模型裁判的调用次数从14.78万次降到3.58万次,下降超过4倍,输入词元消耗量从6.34亿降到1.25亿,下降超过5倍。

原因并不难懂。SERA只在“训练细则生成”这一个环节动用外部监督,模型训练完成之后,平时执行任务靠的是自己给出的分数,外部裁判压根不用再叫。这有点像带新人做质检:前期得靠老师傅手把手教、一遍遍校准评判标准,等新人真把标准吃透了,往后的日常质检就不必老师傅每次都到场盯着。

推理阶段同样能用这套评分系统

训练出来的细则并非用完即弃,模型真正干活的时候,它照样能派上用场。

研究者搭了一个带选择环节的树搜索流程:任务树的每个节点上,模型先出两个候选方案,再用训练好的细则分别打分,留下分数高的那个;随后从叶子节点往根节点一层层回溯,每一步都取当前已知的最优解。

这一流程在TextWorld-Sync上又带来2.43个百分点的额外提升,平均成功率从65.07%升到67.50%,极难级别任务的成功率则从22.86%升到28.95%。更有意思的是,让训练好的小模型自己当裁判,跟请外部Kimi大模型来当裁判,结果几乎没差别(67.50%对67.29%)。

可要是没经过SERA训练,这套选择机制基本失灵。研究者拿未经训练的基础模型做对比,发现让它自己挑候选方案,平均成功率反而掉了0.22个百分点,困难和极难级别的成功率一直是零。道理很直白:没训练过的模型既生不出足够好的候选方案,也分辨不出哪个方案更优,巧妇难为无米之炊。

这组对比正好说明,SERA的训练过程干了两件事:一是让模型把每个子任务做得更好,二是真把模型练成了一个靠谱的自我评估者。这份评估能力在训练结束后还能继续起作用,变成推理阶段可以反复取用的资源。

两个测试场景,两种不同的挑战

论文用了两个基准测试来检验这套方法,它们分别对应两种难度不同的现实情境。

TextCraft-Synth是个合成物品制作环境,智能体需要查配方、递归地把子制作任务委派出去。它的特点是每个子任务都有确定性的程序验证器,能独立核验对错。也就是说,在这个场景里SERA训练细则生成根本不需要外部大模型裁判,程序本身就是现成的裁判。

TextWorld-Sync则是研究者自己在

在这两个基准上,SERA相比最强的对比方法

写在后面

读完这篇论文,让我感触最深的其实不是那些具体的数字提升,而是它点出的一个更根本的认知:一个系统既要做事、又要评判自己做得怎么样,这两种能力就绝不能用同一套没有约束的反馈循环去训练,否则大概率会变成互相讨好,而不是互相校准。

这个道理其实不限于AI训练。任何组织,如果让同一批人既定KPI又自己打分发奖金,时间一长分数必然失真,这几乎是制度设计上的常识。有意思的是,这篇论文用严谨的消融实验,把这个常识在AI训练场景里精确量化了出来:光给出更细的打分标准没用(只提升3.33个百分点,甚至反而下降),拿分数分散度当信号会出问题(下降9.07个百分点),真正管用的是用一个外部的、独立的验证结果去锚定评分标准的训练,同时让评分完全不掺和进直接的任务奖励循环。这种“用一次性的外部监督去训练一个可复用的内部裁判”的思路,其实是很聪明的监督成本摊销策略,有点像花大价钱培养一个内部审计员,往后就不必事事都请外部审计机构了。

论文也坦承了一些局限:只在40亿参数规模的模型上验证过;叶子覆盖率奖励对所有叶子节点一视同仁,没有考虑不同子任务的重要性差异;这套自我评估机制理论上仍有被“钻空子”的风险,只是实验设计相对克制住了。这些留白恰恰说明,它不是已经封顶的方案,而是一条刚刚被证明走得通的路径。

一个会自己出考卷、还懂得不作弊的AI学生,接下来会学成什么样子?

Q&A

Q1:SERA是什么?

A:SERA 是“自我评估递归智能体”的缩写,属于一种训练方法,拆解任务、执行子任务、评估结果这三项能力被放在一起训练。做法是:模型在把任务交出去之前先自己写一份评分细则,随后拿这份细则给子任务打分,再用验证结果去训练这套打分标准,让它本身更准。

Q2:SERA和之前的

A:在TextCraft-Synth基准上平均成功率提升5.38个百分点,在TextWorld-Sync基准上提升13.14个百分点,推理阶段加入细则引导的树搜索后还能再提升2.43个百分点。

Q3:SERA为什么能减少对外部裁判的依赖?

A:SERA 只在生成评分细则这一步借助外部验证结果或大模型裁判,日常执行时打分靠的是模型自己训练出来的评分标准。因此在 TextWorld-Sync 上,外部裁判调用次数降了 4 倍以上,输入词元消耗降了 5 倍以上。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  2. GitHub Agentic Workflows转正:10美元默认预算够用吗?

    作者 | Mark Silvester译者 | 田橙GitHub 已宣布 GitHub Agentic Workflows 正式可用。这个开源项目可以在 GitHub Actions 中运行编码智能体,处理 Issue 分类和持续集成(CI)故障分析等代码仓库任务。智能体启动时仅拥有只读权限,其提出的任何更改都由独立作

    来源 腾讯网
  3. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  4. AI智能体省钱新招:弱模型先上,LEASH用隐藏状态判断何时换强模型

    你有没有想过,为什么现在很多AI产品用起来总觉得差点意思,或者贵得离谱?答案可能藏在一个很少有人注意的地方:模型选择。现在能自动操作电脑的AI助手,专业说法叫计算机使用智能体**计算机使用智能体**:能看懂屏幕截图、理解自然语言指令,并自动执行点击、输入等操作来完成任务的AI系统这类系统面临一个两难选择。用最...

    来源 腾讯网
  5. 多智能体AI组队方案怎么选:稀疏奖励下如何学会挑团队

    你有没有遇到过这种情况:团队接了个项目,可以让三个程序员一起干,也可以让一个程序员加两个审核员,还可以让一个数学高手单干。这几种搭配最后都能把活儿干完,但效率和准确度天差地别。现在把"团队"换成AI智能体,把"项目"换成一道数学题,这就是这篇论文要解决的问题。多智能体系统*:让多个AI模型像一个团队一样协作...

    来源 腾讯网
  6. AI智能体为何总在同一处栽跟头:BELIEFWEAVER用信念更新改写失败恢复

    你有没有遇到过这种情况:修一个电脑故障,试了方案A没用,换成方案B还是没用,结果绕了一圈才发现,真正的问题出在最开始装系统的时候选错了一个设置。前面所有的修复尝试都是白费功夫,因为你一直在表面上打补丁,根源从来没被碰到。现在让AI智能体去做一个长链条任务,比如写代码、配置服务器、规划一条货运航线,它面对的...

    来源 腾讯网
  7. Signal默认屏蔽截图:iOS与安卓防AI读取消息

    IT之家 11 月 22 日消息,开源端到端加密聊天应用 Signal 近日推出 iOS / Android 版更新,默认关闭应用程序内截图功能,以阻止 Siri AI 和 Gemini 等 AI 智能体读取用户私人消息。 Signal 总裁 Meredith Whittaker 表示,系统级 AI 智能体的影响力正不

    来源 AI 行业观察
  8. 智能体AI架构落地:挑战在哪,机会又在哪

    智能体 AI 架构在微服务与云原生架构的基础上进行了扩展,引入具备上下文感知、记忆能力,并遵循 MCP、A2A 等协议的 AI 智能体。本文探讨受限上下文集成、依赖任务的协同策略、新型安全风险以及可观测性需求。

    来源 InfoQ
  9. 智能体AI架构:挑战与机遇并存,工程师如何应对

    大多数软件工程师和架构师对微服务和云原生架构早已耳熟能详,多年来也一直参与构建基于这些架构的系统。基于微服务的系统通常由数十、数百甚至数千个服务组成,负责不同类型的数据处理任务——API 端点、数据管道、后台工作流,以及各类中间场景——但它们都有一个共同点:按照代码确定的逻辑或基于从数据存储中检索到的数据来处理数据。这

    来源 AI 行业观察
  10. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
  11. Signal默认禁止截屏:AI智能体入局,端到端加密还稳吗

    财联社11月20日讯(编辑 李莹)随着科技巨头将AI智能体深度嵌入操作系统,屏幕上显示的私密信息正面临被读取的风险。以隐私保护见长的通讯应用已不得不默认限制截屏,并公开警告端到端加密难以阻止AI从系统层面读取数据。据媒体当地时间11月20日报道,加密通讯服务商Signal宣布将默认限制手机截屏,以防AI智能体读取用户的

    来源 腾讯网
  12. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  13. RAG 已死?Agentic Search 当立

    海外最牛的Agent真的不用 RAG 了?是。Claude Code 只给模型三样工具:列文件、搜关键词、读文件,让它在循环里反复用;Codex 直接让模型敲 rg。不建索引、不上向量库,Anthropic 官方被问到时只回一个词:No。凭什么能这么干?因为模型变强了。以前的模型搜一次搜不到就开始编,现在它会改写提问、

    来源 腾讯网
  14. 阿里通义造Cowork-Gym训练场:让AI学会和你一起改方案

    你有没有遇到过这种情况:让AI帮你写一份销售报告,它很快写好了,结果你发现数据表格其实是上周的旧版本,而正确的那份今天刚更新。你告诉它"用新数据重做",它改了,可改完一看,前面算过的总价没跟着一起变。这不是AI不够聪明,而是它从没在这种场景里真正练过。现在大多数训练AI智能体的环境,都是给定一个任务,AI一口气...

    来源 腾讯网
  15. Snowflake Expedition 2026:AI智能体与实时流式升级?

    2026 年 Snowflake Expedition 大会上,Snowflake 展示了一系列覆盖平台架构的重大升级,正逐步由云数据平台演进为支持自主 AI 智能体、实时流式应用和对话式商业智能的统一引擎。 此次发布围绕一个核心理念展开:AI 的价值取决于其所依托的企业业务上下文。 通过引入原生业务本体(Busine

    来源 AI 行业观察
  16. 苹果亚马逊谷歌齐出手:家庭AI中枢争夺战开打

    Personal Agent让智能家居再次被赋予了想象力。过去只能联网和听从指令的家居设备,有了新的方案来理解环境、主动判断,并实现彼此协作。 海尔智家最近集中发布的一批搭载AI之眼2.0的大白电新品就是体现。这让冰箱、烟机和灶具、洗衣机也开始围绕任务来组织工作。比如,冰箱会识别食材、推荐存放位置,并把菜谱同步给厨电;

    来源 AI 行业观察
向下滚动自动加载更多