AI智能体能否预判任务失败?SAP新论文给出答案

资讯 腾讯网 作者:腾讯网 全文 4759 字 · 约 12 分钟读完 分类智能体游戏

你有没有想过,一个正在干活的AI助手,心里到底有没有"数"?比如它正在帮你订机票、整理文件、玩一个需要走十几步才能通关的文字游戏。走到第三步的时候,它要是能老老实实告诉你"这次大概率要翻车了",你是不是能提前喊停,省得它瞎折腾半小时最后给你一个烂摊子?这听起来是个很朴素的需求。但现实是,现在的AI智能体几乎...

所属频道 智能体与 Agent影视与游戏

一个正在执行任务的AI助手,它自己心里到底有没有底?

打个比方,它正帮你订机票、整理文件,或者在玩一个要走十几步才能通关的文字游戏。要是走到第三步时,它能坦白说一句“这局大概率要黄”,你是不是就能早点叫停,省得它忙活半天最后丢给你一个烂摊子?

需求听着简单,可现实很骨感:眼下的AI智能体基本做不到。它们张口就来的“我有80%的把握”,常常和实际成功率对不上号。SAP研究员Ashutosh Hathidara的这篇论文,盯的就是这个具体又难缠的问题——怎样让AI报出的“信心值”真正预示这一局任务是输是赢。

**问题出在哪:自信和靠谱是两件事**

先说明一点,让AI“报信心”并不是头一遭。此前已有不少研究朝这个方向走,比如

这套做法放在单轮问答里很管用。你出一道数学题,模型答完顺口补一句“我有90%把握”,你拿标准答案一对:答对了,说明它没吹牛;答错了,说明它自信过了头。清楚明白。

可智能体干的不是一问一答的活。它得在长达几十步的任务里持续行动,比如在家庭模拟环境里转悠找东西、在网购平台挑货下单。这类任务麻烦在哪?

**

长程任务

论文把这层意思讲得很直接:以往方法训练出的置信度,预测的是“眼下这一步对不对”;而真正有用的信心信号,该预测的是“这一局最终成不成”。两件事看着像,目标其实完全不同,训出来的结果也大相径庭。

好比你在半山腰问向导“这一步踩得稳不稳”,和问他“今天能不能登顶”,是两个截然不同的问题。踩得稳的向导,也可能带错路把人领到悬崖边;某一步踩得不太稳的向导,稍作调整照样能上去。只训练向导回答第一个问题,第二个问题你永远得不到答案——可对爬山的人来说,要命的恰恰是第二个。

**核心方法:把一群“同班同学”的成绩单拿来打分**

那论文怎么破这个局?答案藏在一个叫

**

具体操作是:同一个任务,让模型“重复做”G次(论文里G取6到8),每次走出一条完整路径,最后落到成功或失败。这G次尝试天然凑成一个“对照组”,其中有成的,也有败的。

论文的关键洞察在于,这个对照组本身自带现成“标签”,不用再花钱标注。既然每条轨迹走到头都有成败结果,那轨迹里的每一步都能打上这个最终结果的印记。第一步也好,第十步也罢,只要属于成功那条轨迹,就标记为“出自一次成功”;失败轨迹上的每一步,则标记为“出自一次失败”。

随后用一个叫**

**

这个设计的巧妙之处,是逼得模型没法靠“永远说自己很有信心”或“永远说没把握”蒙混过关。布里尔分数是严格的:乱报高分撞上失败要挨重罚,乱报低分碰上成功同样重罚。唯一的最优解,就是老老实实报出心里对这件事的真实把握。

这就像一个总爱夸大成绩的学生。第一次模拟考他放话“我肯定考第一”,结果考了倒数,老师当场拆穿;第二次他学乖了,说“我大概六七成把握进前十”,真进了前十,老师也就不会特意点破。日子久了,这学生发现,唯一既不会被拆穿、也不会被嫌保守的说法,就是讲出心里真实的概率。要是没有这套“说谎必被抓”的机制,学生多半会一直吹下去——吹牛不花钱,被当场打假才是真成本。

论文把这套打分机制和GRPO的分组对比结合起来,构造出一个叫**

**离线训练和在线训练,两条腿走路**

论文做了两种训练方式。

一种叫**

两种方式各有各的用场。离线训练省事省钱,不必实时跟复杂的游戏环境打交道,拿现成日志就能练;局限在于每条录好的轨迹只有一次尝试,没法比较“同一任务里成功那次和失败那次差在哪”。在线训练贵一些,却能真正让模型自己生成多条尝试、彼此比较,这更贴近论文的核心思路。

实验用了三个环境来验证:**

**离线训练的结果:从“瞎猜”到“真有点准”**

先看离线训练这条线的结果。

论文用一个叫**

**

训练之前,三个环境里的AUROC分别是0.517(

数字之外,论文还看了一个更直观的指标:只挑模型最有信心的前10%步骤去执行,这些步骤的实际成功率比平均水平高出多少倍。训练前这个倍数只有1.1到1.6倍,信心算是稍微有点用,但用处不大。训练之后,三个环境都稳定在4.3倍左右。

这意味着什么?如果你负责审批,只看模型最自信的那批决策,训练前拦下的风险和瞎抽差不多;训练后,这批决策踩雷的概率不到平均水平的四分之一。筛选能力是实打实的,不是纸面数字好看。

有一个挺有意思的发现:训练之前,模型嘴上说的信心值其实不如一个"免费"的信号靠谱,这个信号叫**

论文也做了不少对照实验来检验结论的稳健性。换了六种不同的打分规则(球形分数、对数分数、L1距离等等),结果发现只要有打分机制存在,不管用哪种公式,效果都差不多,AUROC都落在0.82到0.88之间;但完全不给打分奖励、只靠任务本身的奖励去训练,AUROC只有0.559,基本没什么提升。关键不在于用哪个具体公式,而在于"是否存在一个把置信度跟结果挂钩的奖励机制"这件事本身。

**在线训练:真实世界里的信心校准**

离线训练证明了方法可行,但真正的考验是让模型在真实互动的环境里训练。

论文在ALFWorld上跑了120轮在线训练,每轮抽4个任务,每个任务跑6次尝试。这里引入了一个新概念叫**

**

没训练的时候,模型在ALFWorld环境下的ECE是0.42,高得有点不像话,等于它嘴上报出来的把握跟真实情况差了十万八千里。四种校准奖励各训一遍之后,这四项的数字统统压到0.12以下,表现最好的一组只剩下0.053。

更实际的指标是**

论文另外安排了一组对照实验,给模型的奖励只有一条——"格式正确",也就是只要它老老实实吐出合乎格式的置信度标签就行,标签上的数字准不准无人过问。这组的结果几乎原地踏步,选择性执行那一项甚至出现了负增长。如此便排掉了一种解释:模型变准并非因为它变得更听话,真正在起作用的,是那套把置信度和实际结果捆在一起打分的机制。

**解剖这个"进步"到底从哪来**

论文里最值得琢磨的正是这一块。研究者没停在"AUROC涨了"这种表面结论上,而是另搭了一套更细的分析框架,追问这个进步究竟属于哪种性质。

论文把混在一起的提升拆成了四种不同的"视角"。第一种是**

分析出来的结果有些出人意料:训练带来的增益,几乎一股脑落在跨任务这个维度上。也就是说,模型长进的地方在于判断"整个任务我能不能拿下",可要它在同一个任务内部区分"这一把会赢"和"这一把会输",本事基本没动。更让人吃惊的是,跨任务层面的判断力在第一步就露头了——模型还没做出任何动作、没拿到任何环境反馈,单凭任务描述,训练后的模型给出的置信度就已经能预判这个任务行不行。

打个比方,一位老练的医生扫一眼病历摘要,检查还没做,心里就大致有数这病好不好治;可要是让他盯同一个病人的两次不同治疗方案,他未必分得清哪一次更可能见效。训练教给模型的是这种"望闻问切"式的第一印象,更细腻的那层——同一个病、不同治法哪个更靠谱——它没学会。说到底,训练目标里如果没有专门针对同一任务内不同尝试的对比信号,这种更细的判断力多半不会自己长出来。论文在TextWorld环境里想解决的正是这件事,在ALFWorld里则还没有完全解决。

有意思的是,"任务内判断力缺失"这个毛病在TextWorld环境里出现了松动。论文发现,在TextWorld上训练之后,任务内的区分能力在开局头几步确实有统计意义上显著的提升,只不过步数一多,这点提升就慢慢消退了。这暗示事情并非完全做不到,而是跟具体环境的任务结构有关——在某些环境里,开局那点蛛丝马迹本身就携带了更丰富的"这一局顺不顺"的信息,模型更容易抓住。

**跟"位置信号"掰手腕**

论文还做了一个挺较真的对照实验,叫**

道理其实很朴素:失败的任务常常没走几步就卡死,成功的任务往往能撑得更久。单看步数,光靠"都第十步了,活得够长,多半能成"这种粗线条的推断,在汇总型指标上竟然跟训练过的置信度打成平手,个别环境里还压过一头。

这个发现有点扎心:先前那些漂亮的AUROC数字,有一部分可能只是"步数长短"这个不相干的因素在凑热闹,模型未必真学到了什么深刻的东西。不过这个纯深度基线有个致命软肋——一旦把比较范围收窄到开局头几步(此时所有任务的步数都差不多),它立马塌回0.5,预测能力归零。训练过的模型置信度在这个早期窗口里照样明显高于瞎猜。这恰好说明,训练确实练出了一种不靠"步数长短"这类廉价技巧的真本事,只不过目前它主要体现在"这个任务整体行不行",而非"这次具体尝试行不行"。

**写在后面**

通读这篇论文,让我意外的不是那些AUROC从0.5涨到0.85的数字,而是"任务内判断力缺失"这个发现。研究者原本想训出一个能预判"这次尝试会不会失败"的信号,训出来的东西却更像一种"一眼看穿这任务是不是硬骨头"的直觉。两者听着接近,实则是两种能力:一个是对任务难度的先验判断,一个是对执行过程质量的实时追踪。

这引出一个问题:模型若能准确判断"这任务我大概干不了",却判断不了"我眼下这次尝试是不是正往坑里走",这种本事放到实际部署里究竟有多大用?论文的答案挺实在——至少能做"任务分级",把看着就棘手的任务提前挑出来交人工处理,不必等它跑上十几步撞了墙才发觉不对。可你要期待的是一个能实时喊"等等,这步错了,快停"的监控系统,这套方法眼下还给不了。

论文里另有一个细节,值得单独拎出来讲,就是那个关于

那接下来的问题是:将来若要把"任务内判断力"这块缺口补上,该设计怎样的训练信号,才能让模型不光判断得出"这个任务大致靠不靠谱",还看得出"我眼下这一步,是不是正把事情往坏里带"?

Q&A

Q1:论文提到的outcome-grounded confidence calibration指的是什么?A:这是把AI智能体的置信度表达和任务最终成败绑定起来的一种训练方法。过去只校准单步是否正确,这套做法不一样:它拿GRPO分组采样生成的多条尝试轨迹的成功、失败标签,借助布里尔分数等打分规则来训练模型,让模型报出的信心值真能预示这局任务最终成不成。

Q2:论文实验中AUROC提高了多少?A:离线训练下,ALFWorld、TextWorld、WebShop三个环境的AUROC分别从0.517、0.578、0.462升到0.681、0.722、0.850,最有信心的前10%步骤,成功率约为平均水平的4.3倍。在线训练中,期望校准误差由0.42降至0.12以下。

Q3:训练后的AI智能体,能不能准确判断同一任务里不同尝试谁成谁败?A:现在还不太行。论文发现,训练带来的提升主要落在区分不同任务的难易程度上,模型甚至第一步就能判断某个任务大致行不行;可同一任务内哪次具体尝试会成功、哪次会失败,这种判断力在ALFWorld环境里基本没改善,只在TextWorld环境的开局阶段露出了一点改善的迹象。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  2. AI,怎么就搞得游戏行业人心惶惶?

    AI 用得最少的游戏挨骂最狠,用得最多的游戏收获惊叹与质疑,偷了老外 demo 的「国产 3A 大作」《几猫》换来一笑。 House House 把《Big Walk》做出来时,大概没想过自己会因为十行代码被推到风口浪尖。 尽管 AI 介入程度极低、几乎无法察觉,且游戏本身口碑不错,公开披露后仍立刻引爆了「反 AI 生

    来源 AI 行业观察
  3. 三星 One UI 9.5 曝光:多数自带应用将接入智能体 AI

    IT之家 11 月 15 日消息,据科技媒体 Sammobile 昨天报道,三星 One UI 9.5 系统将为高端 Galaxy 手机和平板电脑带来系统级 AI 智能体,进一步拓展 Galaxy AI 的能力。IT之家从原报道获悉,三星已在设计 Personal Agent Core 功能,旨在将 AI 助手与系统自

    来源 腾讯网
  4. 黄仁勋卸任、RTX 60延期,消费级显卡真被AI挤到边缘了?

    最近科技圈里最大的瓜就是黄仁勋的离职风波了,英伟达临时换帅,引发了巨大震动。以游戏显卡起家的英伟达,如今在AI芯片领域拥有了绝对的统治权。英伟达的业务板块里,绝大部分资源都分配给了算力卡,留给消费级显卡的并不多。

    来源 36氪
  5. 黄仁勋卸任、RTX 60延期:AI狂潮下消费级显卡被边缘化?

    最近科技圈里最大的瓜就是黄仁勋的离职风波了,英伟达临时换帅,引发了巨大震动。以游戏显卡起家的英伟达,如今在AI芯片领域拥有了绝对的统治权。英伟达的业务板块里,绝大部分资源都分配给了算力卡,留给消费级显卡的并不多。 对于老黄的离开,很多游戏玩家关心的是:下一代RTX显卡的发布进度是否会因此受到影响? 但说实话,无论管理层

    来源 AI 行业观察
  6. 山寨游戏互诉抄袭:Steam现李鬼打李鬼,AI仿制还成勒索生意

    兄弟们,活见久了。 老狐摸爬滚打这么多年,见过抄代码的、见过扒美术的,甚至见过把别人整个游戏换个皮就敢端上来卖钱的。 但就在前两天,Steam 上发生了一起让所有人 CPU 都干烧了的奇葩事件——两个做山寨游戏的“李鬼”,居然因为谁抄了谁,在 V 社门前打起来了。 01 李鬼抓李鬼 事情是这样的,前阵子有款叫《大海捞针

    来源 AI 行业观察
  7. LG U+明年做AI Token业务:帮企业压低AI转型成本

    LG U+ 将自研 Agent 任务路径设计、智能路由与异构芯片组合三项技术用于 Token 优化,端侧模型体积缩至三分之一性能仍达云端 95% 以上,Token 生成速度翻倍。随着 LG U+ 入局,韩国三大运营商将全部进入 Token 经济。#AI Token# #LG U+#

    来源 IT之家
  8. 斯坦福RSIHF框架:AI自训中安全与受欢迎度为何要分开评?

    在算力对等的前提下,单纯堆叠算力无法保证模型在自我提升过程中的胜率;模型针对「受欢迎程度」开展优化时,容易出现迎合人类的倾向,进而造成安全指标下滑;相关研究首次提出 RSIHF 框架,证实在 AI 自动训练 AI 的过程中,模型的「受欢迎程度」与「安全性」不能画等号,必须分开评估。如果 AI 研究员把评测分数提高了,外

    来源 腾讯网
  9. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  10. Perplexity Mac版上线Teammates:Max订阅用户可建AI团队

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。 Teammates 可以理解为一

    来源 AI 行业观察
  11. 实现“躺平式办公”:Mac 版 Perplexity 上线“AI 队友”

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。Teammates 可以理解为一组

    来源 腾讯网
  12. Pearl Abyss把AI铺到整条开发管线:核心创作仍由人主导

    IT之家 11 月 14 日消息,据 TechPowerUp 报道,《红色沙漠》于 2026 年 3 月发售后,曾因正式版游戏中包含 AI 生成的资产而遭到玩家抵制。尽管 Pearl Abyss 随后移除了这些资产,并辩称它们只是审核时意外遗漏的占位符,但该工作室似乎并未因此却步,仍打算在未来的游戏中继续使用生成式 A

    来源 AI 行业观察
  13. Edera推对象能力权限模型:AI智能体与凭证隔离成看点

    Edera 推出了对象能力受限权限模型,承诺保护自主 AI 智能体工作负载的安全,使自主 AI 工作负载和模型上下文协议(MCP)服务器与敏感凭证隔离。该技术由 Edera 联合创始人、杰出工程师 Ariadne Conill 牵头。她因对底层开源安全技术的贡献而知名。该技术通过直接在虚拟机监控器层实施细粒度的对象能力

    来源 AI 行业观察
  14. 苹果手表加录音功能,AI录音硬件还剩半年窗口

    苹果在Apple Watch中加入全天对话回顾功能,标志着AI录音硬件的核心价值正被手机厂商侵蚀。录音与转写不再构成护城河,真正稀缺的是筛选后的上下文和Agent入口。在手机厂商整合系统级全天记忆之前,独立硬件公司只剩约半年时间窗口。本文分析了这一趋势背后的技术逻辑、市场格局变化以及未来个人AI入口的竞争态势。

    来源 AI 应用前沿
  15. Gemini 4 Hydrogen提速2.5倍:AI从聊天转向干活

    Google发布Gemini 4 Hydrogen,主打日常智能体与编码,速度提升2.5倍;LangChain完成3亿美元C轮融资,推出全生命周期平台LangSmith。安全领域警示AI将网络攻击准备时间压缩至20分钟。此外,Google Wallet接入Gemini提供财务分析,DeepMind发布AlphaGeno

    来源 AI 应用前沿
  16. 北大与微信安全团队发布智能体安全综述:从生命周期看风险如何传播

    当大语言模型从传统聊天助手走向通用智能体,安全问题正在发生一次根本性的变化。过去,我们更关心模型「会说什么」:它是否生成有害内容,是否泄露敏感信息,是否会被越狱提示绕过。但今天的智能体已经能够自主选择技能、调用工具、读写文件、访问数据库、操作网页和终端,甚至把一次任务中的经验写入长期记忆,用于影响下一次决策。这意味着,

    来源 腾讯网
  17. AI行业:动荡与变革中的新机遇

    本文分析了英伟达高层变动、中国AI硬件海外众筹热潮、主机游戏行业变革、数学界AI应用突破以及特斯拉与SpaceX合并等事件,探讨了AI行业在动荡与变革中的新机遇。

    来源 AI 行业观察
  18. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  19. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率三项升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  20. OpenAI、Anthropic估值双双破万亿:30家AI公司上榜,中国两家进前十

    图片由AI生成文丨晓静编辑丨徐青阳11月15日,硅谷老牌风投机构Menlo Ventures合伙人Deedy Das(@deedydas)在社交平台晒出一张全球AI公司估值与营收排行榜。Menlo Ventures成立于1976年,是硅谷历史最悠久的风险投资机构之一,曾投资Uber、Chime等知名科技公司。近年来,这

    来源 腾讯网
  21. openEuler发布Agentic Infra操作系统:年底80% CVE由AI辅助处理

    人民财讯11月13日消息,Agentic Infra操作系统大会在11月13日召开,开放原子开源基金会孵化的明星社区openEuler在会上正式推出面向Agentic Infra的操作系统。按照openEuler社区的计划,到今年年底,80%的CVE将由AI辅助处理,社区服务Agent则要实现100%接入。

    来源 网易科技
  22. Gartner:AI到2030年净增170万个岗位

    IT之家 11 月 15 日消息,人工智能可能引发的就业危机,或许并不像人们想象的那样。商业与科技研究机构 Gartner 预测,2025 年至 2030 年间,AI 将在全球创造 1060 万个新工作岗位,同时导致 890 万个岗位消失。两者相抵,到 2030 年前,全球就业市场预计将因 AI 净增加约 170 万个

    来源 腾讯网
向下滚动自动加载更多