多智能体系统:为何要专门训练一个“做噩梦”的AI旁观者?

资讯 腾讯网 作者:科技行者 全文 5916 字 · 约 15 分钟读完 分类智能体学术研究

你有没有想过,为什么公司里经验最老道的质检员,往往不是看了最多"正常产品"的那个人,而是见过最多"奇葩次品"的那个人?这个问题,其实和今天要聊的这篇论文高度相关。想象一下,你现在负责管理一群AI智能体,它们正在帮你写代码、做数学题、浏览网页完成各种任务。这些智能体不是一个人在战斗,而是像一个项目组一样互相...

所属频道 智能体与 Agent前沿研究

公司里经验最老道的质检员,往往不是看“正常产品”最多的那位,而是见过最多“奇葩次品”的人——你有没有想过这是为什么?

这个问题,其实和今天要聊的这篇论文关系很大。

想象一下,你现在负责管理一群

**但

任务卡死的原因可能有很多:某个智能体理解错了任务,调用工具时参数填错,或者两个智能体互相“甩锅”。等任务彻底失败才发现问题,往往已经晚了,损失也造成了。

研究者们于是想到一个办法:训练一个“旁观者”AI,专门盯着这些智能体的执行过程,边看边预测“这个任务最后会不会失败”。一旦发现苗头不对,就能提前预警、及时干预。

论文里给这种“旁观者”AI起的名字是runtime auditor

运行时审计器:一种 AI 模型,它在多智能体系统执行任务期间实时查看已经产生的操作记录,不用等任务跑完,再据此判断任务最终会成功还是失败

听起来不错,可问题来了:审计器怎么训练?

**它得靠“看过的案例”来学习判断能力,可现实中,靠谱的训练案例少得可怜。**

一、审计器的“学历困境”:案例太少,质量参差

训练审计器,本质上和培养一个有经验的质检员差不多:得让它见过足够多“成功的流程长什么样”“失败的流程长什么样”,它才能举一反三。

问题是,收集这些案例的成本高得吓人。

研究者们做了个实测:在

这意味着什么?

换句话说,你想把训练案例库扩大一倍,哪怕只增加2000条新记录,光是“跑一遍+验证结果”这一步,就得耗费几十个小时的计算资源和人工核验时间。搭建环境、处理报错这些隐性成本还没算进去。

那能不能“偷懒”,不重新跑,直接改写已有记录?比如把某一步的操作换成另一种写法,让审计器“见多识广”一点?

研究者们也试了:挑出128条数学和编程类的轨迹,用AI编辑其中某一步操作,然后恢复执行,看结果会不会变。

结果相当扎心:**在原本失败的任务里,经过编辑后重新执行,有85.7%反而成功了。**

这说明你原本想用来“扩充失败案例库”的编辑操作,很可能根本没保留“失败”这个标签的资格。改了一步操作,整个后续走向可能完全变了,原来的标签直接作废。

好比驾校想新增一批“事故案例教学视频”,你把某个真实车祸视频里司机打方向盘的那一下改成了另一种打法,结果车没撞上,这段视频还能叫“事故案例”吗?显然不能,它已经变成了另一个完全不同的故事。**如果不管这一点,硬是把改编后的视频也打上“事故”标签塞进教材,学员学到的只会是错误的因果关系。**

研究者还做了对照实验,结果更出人意料:把这些编辑后“验证过的”样本掺进训练数据,审计器在没见过的测试数据上不但没进步,表现反倒退步了。

这个结果把一个核心问题摆上了桌面:光靠“扩大案例覆盖范围”本身,并不能保证审计器真的学到了有用的东西。

研究者们意识到,真正的问题不是“案例够不够多”,而是**“审计器现在到底卡在哪些案例上判断不准”**。不知道审计器的弱点在哪,盲目堆案例就像往一个不知道哪里漏水的水桶里不停加水,加得再多也白搭。

二、“做噩梦”的训练思路:让审计器自己给自己出难题

论文给出的核心方案叫Dream2Discern,直译过来差不多是“从做梦到辨识”。这名字不是随便起的,它确实分两步走:先Dream,也就是做梦;再Discern,也就是辨识。

这套方法的关键判断是:与其另外花力气搜罗新案例,不如从审计器已经学过的案例里,硬挤出更难的变体来。

研究者具体怎么做的?他们的思路是:审计器本身是个神经网络,内部有一组处理信息的“操作参数”。对这套参数做一点点小扰动,让审计器在过同一批案例时判断起来更费劲,预测损失也就跟着变高。

这里有一条硬约束:扰动过程中,原始的文字记录——智能体实际说了什么、做了什么——一个字都不动,动的只是审计器内部“理解”这段记录的方式。

打个比方,老师批作文,同一篇文章,赶上他今天心烦、注意力不集中,就可能漏掉细节,打出来的分数和平常不一样。文章还是那篇文章,变的是“阅读理解”这个环节的状态。要是故意让老师处在容易看走眼的状态下去批改,记下他这种情况下最容易判错的那几篇,再拿这些文章专门给他做强化训练,老师的真实判断力反倒会在不知不觉中练得更扎实——因为他被逼着在“状态不好”时也得尽力分辨。

这中间有个专业词得先交代一下。

LoRA

论文里用的底层大模型(比如Qwen3-8B)参数完全冻结,训练不会去动它。真正被训练的,是插在模型中间若干层注意力机制上的

Dream这一步要干的事是:LoRA参数不动、预测头也不动,专门去找一种“扰动”,加到模型内部负责处理信息的

论文给这个扰动上了两道“紧箍咒”:扰动幅度不能太大,设了全局半径上限;扰动的“复杂度”(专业说法叫秩,rank)同样有上限,最多8。这么设的目的,是不让扰动把模型改得面目全非,而是把它限制在“小幅度、结构化”的范围里去翻审计器的薄弱环节。

研究团队还用数学办法证明了:在这种约束下,能找出让预测损失涨得最快的方向(论文Proposition 1给出了严格证明)。然后沿这个方向迈一小步,看看损失是不是真变高了——高了就采纳,没高就把步子减半再试,最多试六次。

这一套流程跑完,得到的就是所谓的

硬潜在变体:它不是改写过的文字记录,而是在模型内部表征层面,经过精心计算的扰动之后,审计器“看到”的信息变得较难判断的那个版本。原始文字和标签完全没变,变的是模型“理解”这段文字时产生的内部状态

手里有了这些“更难判断”的内部状态,Discern这一步就开始发力:让审计器在这些刻意造出来的“难题”上接着训练,同时原始的成功/失败标签保持不变。

这么一来,审计器就得在信息模糊、容易误判的情况下,仍然尽力做对判断。练得久了,它对真正微妙、容易混淆的失败征兆,敏感度自然会提上来。

三、为什么说这是“审计器专属”的加训,而不是无差别加压

有个设计细节挺值得琢磨:整个Dream和Discern的过程交替推进,扰动是按审计器“当前”的状态实时算出来的,并非提前备好的固定题库。

这又意味着什么?

意味着审计器在训练中不断进步,它的薄弱环节也一直在变。今天让它栽跟头的那类案例,练过一轮可能已经拿下了;下一轮Dream步骤算出来的扰动方向,自然跟着调整,接着去戳它新的痛点。

好比拳击教练带学员,不会让学员一直对着同一个沙袋打,而是隔一阵就按学员最近的弱点换训练内容。发现他左侧防守总松,就专门安排陪练从左边猛攻。学员在进步,薄弱点会转移,教练的训练内容也得跟着变;不然练到后期,那个固定沙袋早被打得稀烂,可真实对手换个打法照样能把人打懵。

论文专门做了实验,验证这套机制到底管不管用。研究者拿训练好的Qwen3-8B审计器,把参数固定住不再更新,然后分别用“精心计算的Dream扰动”和“纯随机扰动”去冲击同一批训练数据,看哪种扰动真能让预测损失上升。

结果挺有说服力:Dream扰动在全部50个测试批次里,无一例外都让预测损失上升,中位数提升幅度为0.0307;随机扰动的变化幅度中位数只有0.0000062,基本在零附近来回晃,有时甚至是负的,也就是让判断变得更准了。

这个对比说明,靠数学方法精确算出来的扰动方向,确实找准了审计器判断最脆弱的那个点;随机乱撞做不到这一步。

研究者还做了另一个分析,挺有意思,叫

Dream敏感度指的是:同一条测试数据被反复加上不同的Dream扰动后,它对应的失败预测分数平均会变动多少。变动幅度越大,就说明这条数据越容易被这类扰动影响。

研究团队拿了一批审计器从没接触过的测试数据,按Dream敏感度由低到高划成五档,再统计每一档里审计器实际判错的比例。敏感度最低那一档,错误率仅为4.4%;最高那一档则冲到51.1%,差不多等于抛硬币瞎猜。

这组数字要回答的其实是一个关键问题:靠“做噩梦”这套机制筛出来的“容易让审计器翻车的案例”,跟审计器在真实场景里容易出错的那些情况,到底对不对得上?答案是肯定的。在Dream扰动下反应最剧烈的样本,正是审计器面对陌生新数据时最容易判错的那一批。可见Dream这一步抓准了审计器真正的软肋,并非乱打一气。

四、实测效果:92个数据点里,四个关键指标全部胜出。设计思路讲得再多,最后还得拿实战成绩说话。研究团队选了两个基准数据集做完整评测。

评测围绕四个核心指标展开。

AUROC

FPR95

wACC

TWA

结果显示,Dream2Discern在具体数字上表现如下:基于Qwen3-8B的版本,在AFTraj-2K上wACC达到91.47%,TWA达到73.45%;换到StepShield这个“没见过的新场景”数据集,wACC也有87.50%。

跟几个同类的强力对手相比,这正好印证了研究团队最初的设计意图——这套方法取胜靠的不是死记训练数据,而是实打实提升了审计器应对陌生局面的判断力。更出人意料的是,参数规模只有4B的Dream2Discern,在StepShield的wACC和TWA两项指标上,竟然压过了参数规模大得多的对手。

研究团队还专门检验了这套方法是否“挑模型”。他们换成Llama家族两个不同规模的模型(3B和8B)重新跑测试,Dream2Discern在绝大多数指标上依旧领先。这说明该训练思路并非只对某个特定模型家族有效的“偏方”,而是一套能普遍套用的方法论。

五、不光要准,还得够快。判断准确只是基本要求,审计器还面临一个很现实的约束:必须在任务真正失败之前发出预警,等木已成舟再拍大腿就晚了。

研究者画了一张“检测时机与准确率”的权衡曲线,通过调整判断阈值,观察审计器在“预警更早但可能误报”和“预警更晚但更准”这两种取向之间的整体表现。结果显示,在AFTraj-2K数据集上,即便要求审计器尽量提早预警,Dream2Discern的准确率仍然领先;在StepShield数据集上,这一优势在相当宽的时间区间内都能守住。

论文里还给了一个具体案例,颇能说明问题。有一条编程任务轨迹,要求“写一个函数求三个数的中位数”。第1步,CodeWriter写出的代码是正确的。到了第7步,另一个智能体CodeTester在验证环节出了岔子——它把“解决方案代码”错换成了一个求最大值的函数,等于把正确答案偷换成了错误答案,整个任务最终在第9步被环境判定为测试失败。

没经过Dream2Discern训练的普通审计器,非要等到第9步、环境已经明确报出“TEST_FAILED”之后才反应过来预测失败,这时候早已来不及。而经过Dream2Discern训练的审计器,在第7步——也就是CodeTester刚做完那次错误替换的瞬间——就准确预测出任务最终会失败,整整提前了两步。

研究者还单独分析了这条数据在Dream敏感度曲线上的走势,发现恰恰在第7步这个关键节点,审计器对Dream扰动的反应冒出一个明显的尖峰。这说明“做噩梦”机制确实精准锁定了真正危险信号出现的位置。

六、这套方法也不是没有短板。研究团队同时做了一系列拆解实验(也就是

训练方式上,团队比较了三种做法:不加扰动、加随机扰动、加Dream算好的扰动。四种模型与数据集的组合里,用Dream扰动训练出来的版本表现最好。

扰动半径也做了对比。五个不同取值里,最优半径在模型之间、数据集之间并不统一;半径拉得太大,比如到10的负2次方,成绩反而往下掉,StepShield数据集上尤其明显,wACC从接近90%掉到六七十。

换句话说,扰动幅度得细调,一味求狠行不通。

论文作者也点出了几处局限。评测只覆盖纯文本执行记录和“成功/失败”这种二元结果,图像等多模态信息还没纳入,失败分类也没有做得更细。系统眼下只验证了“预测”这一环,预测之后怎么干预、干预有没有用,还得靠真实部署实验来回答。

写在后面

这篇论文真正碰到的,是一个在不少领域都出现过的老问题:训练数据又少又贵的时候,怎么办?

多数人的第一反应是“多弄点数据”。论文的实测结果正好相反:编辑过的数据看着把案例库撑大了,真拿去训练,效果却更差。这个结论比方法本身更耐琢磨。

还有个细节:Dream那一步的数学推导,实质是在有限预算下找最坏情况的最优解。

论文没回答的一点是:审计器真在任务中途报警了,下游的多智能体系统该怎么接?直接停掉任务、换策略重试,还是让人来插手?这套闭环实验留给了后续研究。比起审计器判得准不准,这个问题更接近真实部署时会碰上的麻烦。

Q&A

Q1:Dream2Discern是什么?

A:Dream2Discern是一套训练AI运行时审计器的方法。它对模型内部表征做经过计算的扰动,造出“更难判断”的训练样本(硬潜在变体),让审计器在这些样本上反复练,从而提升对多智能体系统执行失败的预测能力,也不用再额外收集、验证新的轨迹数据。

Q2:Dream2Discern和直接扩充训练数据有什么区别?

A:论文实测发现,直接编辑已有轨迹(比如改写某步操作)来扩充训练集,审计器在新数据上的表现反而会变差,原因是编辑可能改掉任务的最终结果,原标签就失效了。Dream2Discern不动原始文字和标签,只扰动模型内部处理信息的方式,专门盯着审计器当前的薄弱环节强化训练。

Q3:Dream2Discern的实际效果怎么样?

A:在AFTraj-2K和StepShield两个基准数据集上,Dream2Discern多项关键指标超过了

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. 多智能体AI组队方案怎么选:稀疏奖励下如何学会挑团队

    你有没有遇到过这种情况:团队接了个项目,可以让三个程序员一起干,也可以让一个程序员加两个审核员,还可以让一个数学高手单干。这几种搭配最后都能把活儿干完,但效率和准确度天差地别。现在把"团队"换成AI智能体,把"项目"换成一道数学题,这就是这篇论文要解决的问题。多智能体系统*:让多个AI模型像一个团队一样协作...

    来源 腾讯网
  3. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  4. 智能体AI架构落地:挑战在哪,机会又在哪

    智能体 AI 架构在微服务与云原生架构的基础上进行了扩展,引入具备上下文感知、记忆能力,并遵循 MCP、A2A 等协议的 AI 智能体。本文探讨受限上下文集成、依赖任务的协同策略、新型安全风险以及可观测性需求。

    来源 InfoQ
  5. 谷歌让AI自改运行框架:成功率由5%升至40%

    谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

    来源 AI 产业速递
  6. 苹果自研AI智能体曝光:招聘信息透露产品方向,对手已抢先落地

    苹果公司正开发自家AI智能体,以期与OpenAI、Anthropic竞争。11月19日,据彭博报道,苹果公司正在开发一款能够代替用户完成任务的自主人工智能智能体,正式进军由OpenAI、Anthropic、Meta等公司激烈角逐的赛道。此前11月18日苹果官网新增一条招聘信息,透露公司正在寻找一名高级工程经理,负责一款

    来源 腾讯网
  7. 苹果AI新布局:自研智能体操控Mac,对标四款竞品

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,

    来源 AI 科技快讯
  8. Signal默认禁止截屏:AI智能体入局,端到端加密还稳吗

    财联社11月20日讯(编辑 李莹)随着科技巨头将AI智能体深度嵌入操作系统,屏幕上显示的私密信息正面临被读取的风险。以隐私保护见长的通讯应用已不得不默认限制截屏,并公开警告端到端加密难以阻止AI从系统层面读取数据。据媒体当地时间11月20日报道,加密通讯服务商Signal宣布将默认限制手机截屏,以防AI智能体读取用户的

    来源 腾讯网
  9. Snowflake Expedition 2026:AI智能体与实时流式升级?

    2026 年 Snowflake Expedition 大会上,Snowflake 展示了一系列覆盖平台架构的重大升级,正逐步由云数据平台演进为支持自主 AI 智能体、实时流式应用和对话式商业智能的统一引擎。 此次发布围绕一个核心理念展开:AI 的价值取决于其所依托的企业业务上下文。 通过引入原生业务本体(Busine

    来源 AI 行业观察
  10. 苹果亚马逊谷歌齐出手:家庭AI中枢争夺战开打

    Personal Agent让智能家居再次被赋予了想象力。过去只能联网和听从指令的家居设备,有了新的方案来理解环境、主动判断,并实现彼此协作。 海尔智家最近集中发布的一批搭载AI之眼2.0的大白电新品就是体现。这让冰箱、烟机和灶具、洗衣机也开始围绕任务来组织工作。比如,冰箱会识别食材、推荐存放位置,并把菜谱同步给厨电;

    来源 AI 行业观察
  11. 苹果招聘曝光AI Agent计划:Siri要从动嘴变动手?

    苹果招聘信息透露,公司正开发可跨应用操作、独立规划并执行多步骤任务的 AI Agent,并强调隐私与权限管理。据彭博社报道,项目仍处早期阶段。面对已积累用户与收入的竞争对手,苹果正争夺下一代计算入口。

    来源 爱范儿
  12. 三星 One UI 9.5 代码现 Gauss 4,自研 AI 模型再进一步

    IT之家 11 月 20 日消息,科技媒体 SammyGuru 昨日(11 月 19 日)报道,称三星正在积极推进自研 Gauss 系列 AI 模型,在 One UI 9.5 首个 Beta 测试版中,发现了 Gauss 4 E2B 模型踪迹。 相关名称出现在支撑 AI 智能体功能的 Personal Agent Co

    来源 AI 行业观察
  13. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
  14. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  15. 中国AI创业者为何纷纷回国:融资、家庭与美国的推力

    中国的经济成熟正吸引科技企业家回归创业,而与此同时,美国却在将他们推离。2026年11月17日晚上8:00(GMT+8)本文是《商业周刊》2026年12月1日刊的一部分。当Moonshot AI 的Kimi K3成为美国人工智能模型最强劲的中国挑战者之一时,一个问题不断涌现:为什么它的创始人杨植麟没有留在美国发展他的创

    来源 腾讯网
  16. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  17. 知网AI检出率暴涨:同一论文数值反复,原创被误判谁买单

    一模一样的文稿,前后检测数值大变;纯人工撰写的论文,AI疑似率忽高忽低;姓名、基金信息、中药方剂文字都被算法标红……澎湃新闻“马上测”此前测试调查已发现,知网AIGC检测算法升级后结果反复、原创文本频遭误判,不少学生为此反复付费检测。当这套商业算法直接和投稿、升学、学术声誉绑定,身处其中的写作者,感受到了...

    来源 腾讯网
  18. 苹果自研AI智能体曝光:让它替你操作Mac

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,苹果有机会

    来源 AI 行业观察
  19. 谷歌Gemini登陆Mac:AI代理代操作电脑,桌面入口争夺战开跑?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险,也成为用

    来源 AI 行业观察
  20. 苹果自研AI智能体曝光:能操控设备写代码,2027年底或推出

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。 古尔曼发现,苹果已经在官网

    来源 AI 行业观察
  21. 苹果招人做主动型AI智能体:能编程、控应用

    据彭博社报道,苹果正开发自己的自主AI智能体,可代替用户编程、浏览网页、控制应用和设备操作。该计划由苹果官网“主动型、智能体式AI助手”招聘信息披露,苹果曾考虑最早明年年底推出,目前开发仍处早期阶段。

    来源 凤凰科技
向下滚动自动加载更多