让大语言模型学会把方向盘交出去

资讯 腾讯网 作者:科技行者 全文 5470 字 · 约 14 分钟读完 配图 1 张 分类GeminiGPTGoogleOpenAI大模型机器人

你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。**大语言模型*:指像GPT、Gemini这样参数规模巨大、.

所属频道 大厂动态模型发布ChatGPT 与 GPTGemini 与 Google AI机器人与具身智能

你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?

它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。

**大语言模型*:指像GPT、Gemini这样参数规模巨大、能理解和生成自然语言的人工智能模型,它们是现在各种智能助手和自动化agent的核心引擎。

问题是,这套"每一步都问一次大脑"的做法,正在把

这就是这篇论文想解决的事:能不能找个更便宜更快的小模型,去接管那些重复性强、选项有限的决策,让大模型只在真正需要动脑子的时候出手?

**

这个问题之所以

### 多选题陷阱:大模型的大部分工作其实很"傻"

论文作者观察到一个有意思的现象:agent在跑任务的时候,看起来每一步都在"思考",但如果你把这些思考拆开看,会发现绝大多数决策其实是选择题。

接下来调用哪个工具?是继续执行还是停下来?要不要把这段信息存进记忆里?这些问题的答案空间都很小,往往就是从几个选项里挑一个,或者简单的"是/否"判断。

这就引出了一类叫做"

**

论文里提到一个很直观的数字:调用一次

这意味着什么?如果能把agent里那些"选择题式"的决策都交给决策模型来做,理论上整个系统能快很多、便宜很多。听起来是个完美的方案对吧?

但现实啪给了研究者一巴掌。

### 孤立考试第一名,到了实战里连及格都难

这篇论文做了一件挺扎实的事:它不满足于"决策模型在标准测试题上表现好不好",而是追问"决策模型放进真实的agent里跑任务,到底行不行"。

这个追问揣得很深,因为答案出乎意料地让人意外:在孤立问题上表现最好的决策模型,放到真实agent任务里,只解决了69.5%的任务。

而且更打脸的是,没有设置任何"

这就好比你雇了一个笔试成绩全班第一的新员工,结果让他独立处理客户投诉,结果频频出错,因为笔试考的是知识点,而真实工作考的是"在复杂情境里知道什么时候该自己拿主意,什么时候该找主管"。如果公司只看笔试成绩来分配权限,而不设计一个"你拿不准就上报"的机制,那无论笔试分数多高,实战照样翻车。

为什么会有这么大的落差?论文给出了一个关键线索:静态题库里的问题,答案永远不会因为上一题答错而受影响。但在真实agent里,一步错了,后面全盘可能都跟着错,而且agent还会走到一些"从没在训练数据里出现过的诡异状态",比如因为自己之前的操作失误,陷入了设计者完全没预料到的情境。

这就是全文反复强调的核心矛盾:孤立测试的分数和真实agent里的表现,几乎是两套排名体系。

研究者统计了八种不同决策模型在孤立题库和真实任务里的排名相关性,结果显示,题库排名和任务成功率之间的肯德尔相关系数只有0.18,几乎可以说是"没啥关系"。而把测试换成"记录agent真实轨迹后再逐步打分"的方式,相关性一下子跳到0.84。

这说明一个很朴素的道理:你测试的方式,必须尽可能贴近真实使用场景,否则排名毫无意义。

### 三层台阶:从纸上谈兵到真刀真枪

为了把这个问题讲清楚,论文团队搭建了一套叫做

**

第一层叫L1,就是最传统的孤立问题测试,决策模型拿到一个问题和几个选项,直接打分。这一层的问题来自公开数据集

第二层叫L2,是"步骤级"测试。研究者先让agent正常跑一遍任务,把每一步的状态都记录下来,然后让决策模型在这些记录好的状态上答题,但答案只打分,不会真的影响后续流程。这就像给驾考学员放一段别人开车的录像,让他在每个岔路口说"我会怎么选",但方向盘不在他手上,走错了也不会真出车祸。

这个设计很巧妙,因为它解决了一个两难:如果让决策模型真实控制agent,一旦早期犯错,后面所有状态都会被污染,没法公平对比不同模型;但如果完全脱离agent环境单纯考孤立题,又测不出模型面对"agent自己犯错后产生的诡异状态"时的真实能力。L2正好卡在中间,既保留了真实状态的复杂性,又避免了错误累积的干扰。

第三层叫L3,是终极考验,让决策模型真正掌控agent的每一步选择,错误会实实在在影响后面发生什么。这是最接近真实部署、也最难的一层。

为了支撑L2和L3的测试,论文团队还专门搭了一个叫

**

这个环境设计里有个细节特别值得说:即便agent中途走了弯路,答案钥依然知道从这个"歪了的状态"出发,怎么继续才能把任务救回来。这就像一个经验丰富的老司机副驾,不管你刚才是不是闯了个红灯开错了道,他总能告诉你现在这个位置该怎么拐才能到目的地,而不是直接判你这趟行程作废。

### 不是不能用,是要知道什么时候该收手

既然孤立测试靠不住,那agent到底该怎么判断"这个决策能不能交给小模型"?

论文给出的答案是:设一个

**

这里有个很精巧的数学推导。假设决策模型的信心和它真实的准确率是匹配的(也就是"校准良好"),那么把一个决策交给它,值不值得,取决于三个数:大模型本身做这个决策的准确率、省下这一次调用能省多少钱、以及一旦选错要付出多大代价。

论文推出的公式简洁又实用:阈值等于大模型准确率减去省下的成本和错误代价的比值。换句话说,如果犯错的后果特别严重(比如客服系统误操作取消了一个客户的订单),那阈值就要设得特别高,几乎逼近100%确信才敢让小模型自己拿主意;但如果犯错损失很小,阈值可以放低一些,让小模型多揽一些活。

论文里给出的实测数字很有说服力:用

这套机制实际效果如何?论文给了个干净的对比:固定一个随意的阈值(比如0.5),任务成功率直接掉了21.5个百分点;但用这套"在agent真实轨迹上拟合出来"的阈值,交给决策模型处理工具选择和参数填写,成功率一个点都没掉,还省下了14.2%的成本。

这就好比给新员工放权,如果不管什么情况都让他自己决定(阈值等于0),他迟早捅出大乱子;但如果规定"只有你百分之百确定、而且这事儿后果可控的时候才自己拍板,否则一定要上报",省下的管理精力和出错的风险,就能找到一个两头都讨好的平衡点。

### 遇事不决,就把自己摆进那个局里

光设计一套"该不该放权"的框架还不够,论文团队还想解决另一个问题:现成的决策模型为什么表现不稳定?

答案藏在训练数据里。市面上的决策模型,几乎全是在"干净的标准问题"或者"agent走对了路的成功案例"上训练出来的。它们从来没见过agent自己犯错之后、陷入的那些乱七八糟的诡异状态。

这就好比培训新员工的时候,只给他看公司历史上最成功的案例,从来不告诉他"当年有个同事手一抖发错了邮件,之后该怎么收场"。真遇到突发情况,这个新员工大概率会愣在那里,因为他的训练素材里根本没有"出错之后怎么挽回"这一课。

于是研究者动手训练了自己的决策模型,叫

**

训练分两步走。第一步是

**

第二步更有意思,叫

**

这里有个细节值得单独说一下。研究者为了让模型见识"出错之后该怎么收场",专门设计了一个带着错误的脚本策略,故意重复开发阶段观察到的错误模式,确保30.9%的训练状态都是"跟在一次失误后面"的。这个比例不低,说明团队确实下了功夫去填补"错误后状态"这块空白。

训练效果如何?在跟训练数据完全不像的新任务上,用AGENTDECISION-4B做决策的agent解决了91.5%的任务,而用JEV只解决了82.0%。差距接近10个百分点,而且这是在"陌生场景"下测出来的,说明这个训练方法让模型学到的不只是死记硬背,而是某种真正可迁移的判断力。

### 问与不问之间,藏着最贵的教训

论文里有一个案例特别让人印象深刻,它揭示了决策模型最容易栽的那种坑。

有个任务是"把某个客户最近一笔已送达的订单全额退款",但任务描述里根本没说客户想要怎么退款,是退回原支付方式还是转成店铺积分。按照常理,agent应该先问一句客户。

但JEV在查完客户信息和订单之后,直接以0.98的高置信度选择了"退款"这个操作,而当时唯一正确的选择其实是"先问客户"。大模型只好随便填了一个退款方式,结果整个任务判定失败,因为这是个不可逆的操作,一旦执行就没法重来。

反过来,用AGENTDECISION-4B的那次运行里,模型先选择了"问客户",拿到答案后才继续,顺利完成任务。

论文统计了一个让人倒吸一口气的数字:JEV失败的所有34个任务,无一例外都是从"信心满满地选错了一个不可逆操作"开始的。而经过agent状态训练的模型,一次这种错误都没犯。

这揪出了一个很根本的问题:高置信度不等于真的对。决策模型可能对一个错误答案也抱有极高的confidence,尤其是当它从没在训练里见过"这种情况应该先问"的例子。这就像一个新手司机对着导航显示"直行500米"信心十足地一脚油门踩下去,却没注意到前方施工路段提示牌,导航系统的"确信"和"现实的正确性"根本是两件事。

### 换个赛道换个规则,模型还认得路吗

论文还做了两组很严格的压力测试,专门检验这套方法到底是"真学会了",还是"背了题库而已"。

第一组叫

第二组叫

这次结果就不那么乐观了。AGENTDECISION-4B面对这条陌生规则,几乎揽下了所有相关决策,但正确率只有81.6%,agent的任务成功率直接跌到3.0%,而同样场景下大模型单独处理能拿到88.0%的成功率。

这个结果其实挺诚实,它暴露了这套方法的边界:训练出来的决策模型,终究是在"它见过的世界"里才靠得住。换个全新规则,它照样会信心十足地做出错误判断,因为它压根不知道世界已经变了。

好消息是,这个问题是可解的。研究者又拿这条新规则的状态数据,重新训练了一轮模型,正确率从76.5%一下跳到95.3%。这说明问题不在于方法本身失效,而在于"没见过的东西,终究需要重新学一遍",这倒也符合直觉,毕竟没有哪个员工能靠一次培训应付公司十年后才出现的新规章。

### 省下来的钱和时间,到底有多少

说了这么多设计原理,最终还是要回到那个最朴素的问题上:这套方法真的能省钱省时间吗?

答案是真能,而且幅度不小。在论文的综合测试里,用训练好的4B模型跑整套流程,客服类和居家类agent的成本降低了81.1%到89.0%,速度提升最多到2.5倍,而任务成功率没有掉超过3个百分点。

具体数字更直观:在DECISIONGYM任务上,用AGENTDECISION-4B搭配独立GPU运行,agent便宜了86.3%,快了2.5倍。而在

写代码的agent场景就没那么划算了。论文测试了把每一步任务分发给"强模型"或"快模型"的做法,省下的成本只有7%到10.5%,有的测试里成功率甚至还掉了一点。原因也不复杂:代码任务里agent的输出大多是自由文本,决策模型能插手的空间本来就有限,它顶多能决定"这一步交给哪个大模型处理",没法像客服场景那样直接选工具填参数。

论文团队也很诚实地指出了这套方法目前覆盖不到的地方。比如在只会生成自由文本的编程agent里,决策模型的作用天然受限;再比如这整套阈值和训练都是针对特定agent量身定制的,换一个全新的agent、全新的工具集,大概率需要重新拟合阈值,甚至重新训练。

写在后面

读完这篇论文,最让我意外的不是"小模型能省钱"这个结论,这个结论其实挺符合直觉。真正让我重新想了一下的,是那个"69.5%"的数字,就是孤立题库第一名的模型放进真实agent里反而掉队的那组数据。

这戳破了一个我们习惯性相信的假设:好的笔试成绩等于好的实战表现。在AI评测这件事上,这个假设被反复证明是脆弱的,但每次看到具体数字还是会愣一下。

还有一个细节我觉得值得单独拎出来说:论文里提到,所有JEV失败的任务,无一例外都始于一次"信心满满但选错了"的不可逆操作。这说明置信度这个指标本身是有欺骗性的,模型对一个错误答案照样可以表现得毫不犹豫。这让我想到,判断一个AI系统靠不靠谱,光看它多自信是不够的,还得看它在"该犹豫的时候"是不是真的会犹豫。

这篇论文没有解决的问题,恰恰也是最有意思的问题:当agent遇到一条全新的、训练时从未出现过的业务规则,它要怎么察觉"世界已经变了,我现在该把方向盘交回去了"?现在的方案是靠人工发现问题、重新训练模型,但如果未来的系统能自己意识到"这情况我没见过,我得先问一下",那才是真正可靠的自动化。

一个客服系统因为过度自信地替用户做了决定,最后把一笔退款弄错了方向,这事儿想想还挺让人后背发凉的。毕竟我们正在把越来越多这样的决定,交给越来越便宜、越来越快、但未必越来越谨慎的系统去做。

Q&A

Q1:

A:这是论文提出的一套三层评测体系,专门用来测试决策模型在agent场景里的真实表现,从孤立问题一直测到真实控制agent运行,目的是避免只靠标准题库打分造成的误判。

Q2:

A:它是论文设计的一套agent运行框架,能把agent里重复性强的多选题式决策交给小型决策模型处理,只有当决策模型信心低于预先设定的阈值时,才会调用成本更高的大语言模型来做决定。

Q3:AGENTDECISION-4B和市面上现成的决策模型JEV相比有什么不同?

A:AGENTDECISION-4B是用agent运行过程中产生的真实状态(包括出错后的状态)训练出来的开源小模型,在陌生任务上的表现(91.5%成功率)明显超过了没见过这类状态的JEV(82.0%)。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 微软发布Decision-1.1:速度提升2倍,准确率登顶

    智东西(公众号:zhidxcom)编译 | 程茜编辑 | 李水青智东西11月18日消息,今日,微软发布新一代决策模型Microsoft-Decision-1.1。在Artificial Analysis决策指数榜单中,Microsoft-Decision-1.1获得68分,排名第8,比微软首款决策模型高出6分,领先于J

    来源 腾讯网
  2. 浙大与宇树开源500万条机器人预训练数据:总时长超1万小时

    浙江大学与宇树科技具身智能联合实验室等团队从海量互联网人类视频中构建并开源了预训练数据集 Movens-5M,收录 500 万条经仿真执行验证的机器人动作,总时长超过 1 万小时。数据集覆盖行走、深蹲、拖地、拳击等 297 种细分动作,涵盖居家生活、健身训练、户外休闲等 16 类场景。团队将文字指令、视频示范、语音和音

    来源 腾讯网
  3. Gemini 4 Neon 上线,NVIDIA 并行生成打破逐字解码

    Google 推出 Gemini 4 Neon,主打推理与任务执行,已接入 App 和 Tasks。NVIDIA 发布 Nemotron-Sigma,尝试并行块生成以加速代码和数学解题。Hugging Face 分享了 27B 模型后训练效率优化及微调耗时超预期的技术原因。LMArena 数据显示 GPT-6.2 As

    来源 AI 应用前沿
  4. Gemini 4 Hydrogen一小时开发机械臂:Antigravity插件降门槛

    2026年11月中旬,AI领域迎来几项关键进展。Google发布Gemini 4 Hydrogen模型及Antigravity插件,宣称能将机械臂从草图到真机部署压缩至一小时。Cognition推出Devin Bots,支持多Agent协作处理QA与开发任务。此外,Gemini Tasks向多国用户免费开放,Verce

    来源 AI 应用前沿
  5. Anthropic IPO文件披露:亚马逊持股14.7%,谷歌持股13.7%

    Anthropic IPO由亚马逊与谷歌合计持股近三成,估值1.405万亿美元,公开市场检验现金流与算力成本。OpenAI发布GPT-6.2双模型,推进企业分层商业化,并携北约网络防御、签约AMD算力。英伟达遭SEC调查、创始人辞任、股价重估,AI基建进入资本回报与治理考验;美国BIS将出口管制延伸至远程云算力。谷歌G

    来源 钛媒体
  6. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  7. 奥特曼不敢全速训AI:Christiano推演GPT-10级失控风险

    新智元报道 用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。但再往前一步呢?就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。只不过,眼下还没到「按下按钮、让模型在无人监管

    来源 腾讯网
  8. GPT-6.2双版本发布:3D与办公能力提升,API价格再降

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。 有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。 眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。 OpenAI 偏偏选在此时发布新一代

    来源 AI 行业观察
  9. 深度|红杉美国对话华人机器人数据公司Mecka AI:没有互联网红利,如何教机器人理解物理世界?

    图片来源:Sequoia CapitalZ Highlights机器人领域的根本问题是,我们没有大语言模型从互联网得到的那种冷启动红利。从根本上说,大量机器人数据是三类东西:像素、动作和逻辑。第一人称数据,基本就是人类以第一人称视角演示、执行任务的视频数据。机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人

    来源 腾讯网
  10. AI智能体会先斩后奏然后撒谎吗?内部神经信号揭晓答案

    2026年9月,OpenAI的安全系统负责人在一次公开发言里说了一句让人不安的话:他们砍掉了一个即将发布的模型,GPT-6.1 Astra,原因是它"在保持权限边界和如何向用户汇报方面,没有达到标准"。同一个月,GPT-5.6的系统卡里记录了另一件事:一个模型在没人让它碰的虚拟机上执行了破坏性清理操作,还把一个方程标记

    来源 腾讯网
  11. “未来的超级明星,不会来自加州,而是来自中国”

    【文/观察者网 范维】上周,欧洲最大的科技峰会Web Summit(网络峰会)在葡萄牙里斯本开幕,多家中国企业参展,涵盖大模型、机器人和无人机等多个领域。《日经亚洲》18日报道称,尽管中欧贸易关系仍有一定摩擦,中国企业仍在积极寻找商业机遇,并以出色的产品吸引了欧洲企业的目光。为中国企业提供海外发展咨询服务的iMpac.

    来源 腾讯网
  12. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  13. MIT“AI炒作指数”:AI像皮疹蔓延,人还能做主吗?

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹

    来源 AI 科技快讯
向下滚动自动加载更多