AI智能体游戏反复失败:问题出在"没见过"

资讯 腾讯网 作者:科技行者 全文 4434 字 · 约 12 分钟读完 分类智能体游戏

你让一个AI智能体去玩一个文字冒险游戏,比如ALFWorld里的那种任务:把苹果放进冰箱冷藏。它尝试了一百次,一百次都失败在同一个地方,比如它压根没想到要先打开冰箱门。这时候你用再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西吗?答案是挖不出来。因为这一百条轨迹里根本没出现过"打开冰箱门"这个动作,你没法...

所属频道 智能体与 Agent影视与游戏

让一个AI智能体去玩ALFWorld里的文字冒险任务,比如把苹果放进冰箱冷藏。它试了一百次,一百次都栽在同一个环节——压根没想到要先打开冰箱门。

这时候,拿再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西?

挖不出来。一百条轨迹里,"打开冰箱门"这个动作从没出现过,不存在的数据学不会。这篇论文要解决的就是这件事。

强化学习卡住的地方,就是"没见过"

眼下训练AI智能体做长链条任务,主流用的是群体强化学习一类技术。

**

这套思路在数学推理这类任务上效果不错,但放到像ALFWorld(家居任务模拟环境)、

三四十步才能分出胜负的对局里,奖励往往来得又晚又零散,最后输了到底该算在哪一步头上,很难讲明白。这几年学界盯着的就是"功劳和过错怎么落到具体某一步"这件事,陆续冒出

不过论文作者盯上了一个更靠前的瓶颈:这些方法再精细,折腾的也只是已经采样到的轨迹。

智能体采到的轨迹要是全都没碰上正确行为,这些高级信用分配技术就像一位特别会批作文的老师,学生交上来的全是跑题文章,老师顶多给这些跑题文章排个名次,没法凭空教会学生怎么写对题。

说到底,不是算法不聪明,是数据没给它学的机会。

那怎么办?让"老师"在关键节点亲自下场做示范。

**

这个思路已经有不少改进版本,有的把教师指导延伸到好几步,有的用后续策略尝试来验证这次指导有没有用。作者注意到一点:这些方法的监督信号,盯的始终是教师那一个纠正动作、教师写的一段示范前缀,或者这次干预的最终结果。

教师接管之后发生的那一整个过程,它们并没有真正学进去。

这个差别乍看很细,放到交互式环境里却相当要命。智能体某一步走错,教师把这一步纠正了,下一步看到的环境画面就全变了,智能体原先自己走的那条老路彻底用不上。教师纠正之后会发生什么、智能体该怎么应对这个新局面,这些才是有价值的信息,可现有方法大多没学这部分。

这就是

教师接手后,把整条新路走一遍

SERO

做法分三步。第一步,智能体照常跑任务,产生一堆轨迹,这些轨迹照常拿去训练基础强化学习目标,这部分完全不动。第二步,从轨迹里挑一个智能体真实到达过的状态,像游戏存档读档那样把环境恢复到那个节点,再让一个只在训练时出现的"神谕"(oracle,知道正确答案的规则化专家或规划器)接管,在真实环境里接着往下走好几步,而不是给一个动作就收工。第三步,把神谕走出来的完整路径当作新学习素材喂给模型。

**

关键设计在于,神谕的每一步动作都得在环境里真实执行。为什么这一点重要?

可以这样想:教一个刚学开车的人倒车入库,他方向盘打早了,车已经歪了。你只在旁边说一句"这里应该往左打半圈",然后就不管,他学到的只是那一瞬间的修正。可你要是干脆接过方向盘,把车真倒进去,车身角度怎么变、什么时候回正、什么时候踩刹车,这一整套连续反应才是真正有用的驾驶经验。只纠正一个瞬间的动作,和真实走完整条路,信息量差着量级。

论文专门做了实验来验证。只学第一步纠正动作的版本(Root-only),在ALFWorld上的成功率不但没涨,反而比不加任何干预的基线低了2.87到4.17个百分点。学完整连续路径的版本,成功率直接涨了7个百分点以上。光给一次性纠正不够,得让智能体看到纠正之后的整条后续剧情。

越往后的步骤,权重越要打折

不过事情没这么简单。神谕接管后走的每一步在环境里都真实可执行,但这不代表每一步对当前智能体都同样有用。

神谕接管的第一步,是智能体自己真实走到的起点,参考价值没得说。再往后几步,那些状态是神谕按自己的"正确答案"规划出来的,智能体眼下未必跟得上。好比让一个刚学做菜的人照米其林大厨的详细菜谱做一道复杂的菜,第一步切菜他能跟上,后面要精确控温、分毫不差地调味,他现在的水平根本模仿不来。这时候硬逼他按菜谱每个细节死记,反而学得一团乱,因为这些步骤离他现有能力太远,与其说学习,不如说硬塞一套他执行不了的流程。

每一步都给一样重的学习权重,深层步骤就会搅乱训练,智能体压根跟不上那么远的指令。

**

具体是这么算的:第一步权重永远是1,往后每一步的权重,等于前面所有步骤的兼容度连乘。前面某一步旧策略完全说不出神谕那样的话,后面所有步骤的权重都会被这一步拖小,相当于自动把那些"智能体现在够不着"的深层步骤的学习力度调低。

论文并没有只停在机制设计上,还专门做实验验证这个连乘机制是否真的起作用。研究者固定同一批神谕路径,仅打乱权重的分配规则——数值不变,位置错开。结果ALFWorld成功率从88.02%降到85.16%,未见过的新任务上从85.94%跌到80.73%,跌幅超过5个百分点。权重不是随便给点递减就行,得真正对应每一步的可达性;错位分配造成的损害相当明显。

论文还观察到另一个现象:单看神谕某一步动作与旧策略的局部兼容度,这个数字波动很大,有时隔了好几步仍然很高。但把连乘的"前缀可达性"算出来后,曲线就清楚了。训练早期(比如第10步)权重衰减得很快,说明神谕能有效教的范围很短;训练到后期(比如第140步)权重能维持更长一段距离,说明智能体自身在变强,能跟着神谕走得更远。监督范围随训练进程自动延伸,正是这套连乘机制想要的效果。不过,并非每次接管都值得学习,还得看结果好不好。

光有可达性还不够。具体做法是比较同一个起点下两种结果:智能体自己原本走下去的结果,与神谕接管后走出来的结果,哪个更好。只有神谕路径确实优于智能体自行探索的结果,这条路径才会进入训练;改进幅度越大,这条路径拿到的整体权重也越大。

这一设计防的是一种情况:万一神谕接管后也没走出好结果,比如它恰好也卡在某个环境特有的坑里,那这条路径就不该被当成正面教材硬塞给模型。

最终,SERO的训练目标把三层东西叠在一起:改进门控判断这条神谕路径整体值不值得学,前缀可达性权重决定每一步给多大的学习力度,再乘上这一步动作本身的监督损失。这个损失作为额外辅助项加到原本的强化学习损失上,原来的奖励、优势值、策略比率等计算方式完全不受影响。换句话说,SERO没有替换原有训练框架,而是在旁边加了一条新的学习通道。

实验结果方面,论文在ALFWorld和另一项基准上做了测试。下面这张表是核心结果,重点看加入SERO之后的变化。

模型规模 | 方法 | ALFWorld 已见任务成功率 | ALFWorld 未见任务成功率

|---|---|---|---|---|---|

| 1.5B |

| 1.5B |

| 1.5B |

| 1.5B |

| 7B |

| 7B | GraphGPO + SERO | **95.57** | **87.50** | **91.93** | **83.67** |

| 7B |

| 7B | HGPO + SERO | **94.53** | **91.41** | **87.63** | **79.63** |

7B 模型上的 GraphGPO 交出了最抢眼的一组数:那些训练阶段从未接触过的新场景,成功率由 76.30% 升到 87.50%,足足多了 11.2 个百分点。放到这类基准测试里衡量,这一涨幅并不常见。它指向的不只是智能体把见过的题型练得更熟,更关键的是面对陌生任务时本事确实变强了。原因其实不难理解——神谕能把智能体领进它自己从未涉足的状态,训练数据的覆盖面因此被撑大,见多识广之后,再碰上没见过的任务自然应付得更稳。

论文另做了一轮拆解,把三种方案摆到一起对照:只学第一步怎么纠正、学完整路径但每步权重一样、学完整路径并按可达性加权。结论是:只纠正第一步反而会拉低效果;完整路径配上均匀权重就已经有明显进步;再叠加可达性加权,在没见过的任务上又能多出 3.39 个百分点。这组结果说明两头都得抓——后续剧情要完整学,可每一步也不能同等对待。

为了排除其他解释,研究者还设了几组控制实验,其中一项专门检验:提升会不会只是多跑了几次环境交互换来的。他们给基线方法额外补了 15 步探索,把交互次数拉到和 SERO 相当,结果基线仍然追不上 SERO。可见效果出在神谕示范本身,并非靠堆训练算力堆出来的。

写在后面

读这篇论文时,有个细节让我琢磨了很久:研究者为什么没选更省事的办法,比如让教师把每一步都指导到位、权重一律拉平?

后来想通了,这背后是个更普遍的道理——一份高质量的示范,并不代表它每一部分都适合直接照搬。新手模仿专家,前几步的动作多半跟得上,可专家后面那些建立在深厚经验上的细微判断,新手硬学只会学成四不像。SERO的可达性加权,说到底在回答一个问题:这份示范里,哪一部分是现在的我真的够得着的。这问题不限于强化学习,任何教学场景里都存在。

论文也把话说在前头,承认了自己的局限。它依赖环境能被精确恢复到某个历史状态,还得有个现成的专家规则或规划器来当神谕,这两个前提在不少真实场景里未必满足。换成没法存档读档的物理环境,或者一个根本没有标准答案的开放式任务,这套方法还能不能用?这是个值得继续追问的问题。

另外有一点可以多想一步。论文把“教师接管后走出来的路径”和“智能体自己在学的那条路径”放在同一个起点上比较,这种设计绕开了一个常见陷阱:拿两个起点不一样的东西比谁更好。不少看似合理的比较,恰恰忽略了起点公不公平这件事。

Q&A

Q1:SERO是什么?

A:SERO全称

Q2:策略可达性加权解决了什么问题?

A:它解决的是神谕接管后走出的路径中,深层步骤离智能体现有能力太远、强行学习反倒搅乱训练的问题。具体做法是拿一个冻结的旧策略给神谕每一步动作打兼容度分数,再把前面所有步骤的分数连乘,越往后权重越低,自动减轻对智能体暂时够不着的深层步骤的学习力度。

Q3:SERO在实验里效果如何?

A:在ALFWorld和

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  3. 苹果AI新布局:自研智能体操控Mac,对标四款竞品

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,

    来源 AI 科技快讯
  4. 苹果自研AI智能体:可操纵设备写代码,2027年推服务未定

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  5. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  6. 四个红色手提包,整齐摆放在白色展台上:一张图读懂AI写提示词时的“记忆碎片化”难题

    你有没有玩过那种小时候传话游戏,一句话从第一个人传到最后一个人,中间经过七八个人的嘴,最后出来的版本已经面目全非了。现在想象一个更离谱的版本:这句话要传给一个AI画图模型,而传话的人不是按句子传的,是按字一个一个传的。"四""个""红""色""手提包"被拆成了五段信息,每一段单独往下传。传到最后,"四个"这个数量信..

    来源 腾讯网
  7. 纳德拉预言:AI智能体将重塑互联网经济格局

    微软CEO萨提亚·纳德拉在最新访谈中提出,AI智能体将不再是简单的聊天工具,而是能替用户完成搜索、比价、下单的“数字代理人”。这一转变可能从根本上动摇以广告和流量为核心的互联网商业模式,迫使亚马逊、谷歌等巨头重新思考获客与竞争的方式,内容创作者与广告主的利益分配也将随之重写。

    来源 AI 科技快讯
  8. 模拟人生之父新作:用AI挖掘你的记忆构建模拟

    曾打造《模拟城市》《模拟人生》的传奇游戏设计师Will Wright公布新项目MyMems,将借助人工智能从用户的个人记忆中挖掘内容,构建个性化模拟体验。Wright表示他想“让模拟转向内在”。这一构想引发游戏界对AI驱动个性化叙事与隐私边界的广泛讨论。

    来源 AI 科技快讯
  9. 快手Q3营收316亿:可灵AI增收,日活4.17亿

    亿欧最新获悉,11月19日盘后,快手科技发布2026年第三季度业绩。财务数据显示,今年第三季度公司实现营收315.92亿元,经调整净利润7.9亿元。具体来看,线上营销服务收入为178.71亿元,占总营收的56.6%;直播收入为77.52亿元,占比24.5%;其他服务收入为59.69亿元,占比18.9%。图片来源:快手科

    来源 腾讯网
  10. 苹果自研AI智能体曝光:让它替你操作Mac

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,苹果有机会

    来源 AI 行业观察
  11. 会用AI的人,更容易找到工作?

    AI已经广泛融入游戏开发的多个环节。这个趋势也影响了厂商对人才的需求。一份腾讯IEG2026年的实习生招聘材料里显示,游戏AI相关岗位的需求明显提升,部分岗位开设了AI面试或AI Coding考察。 这一趋势在世界范围内也是共通的。GDC在2026年11月发布的统计中显示,40%的受访游戏从业者会在工作中使用生成式AI

    来源 AI 行业观察
  12. 谷歌Gemini登陆Mac:AI代理代操作电脑,桌面入口争夺战开跑?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险,也成为用

    来源 AI 行业观察
  13. 纳德拉:AI代购兴起,恐改写互联网平台盈利模式?

    科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面临重新洗牌。

    来源 IT之家
  14. Office 主客易位:微软把 Word、Excel 塞进 Copilot,AI 当门面

    昨日的 Ignite 2026 大会上,微软官宣 Office 翻开“新篇章”:办公软件不再只是文档、表格与演示工具,而将转型成 AI 智能体协同干活的“智能办公系统”。此前 Copilot 是被塞进各应用当助手,如今整个颠倒:以新款 Copilot 应用为核心,集成完整的 Word、Excel 和

    来源 AI 开发者社区
  15. 苹果招人做主动型AI智能体:能编程、控应用

    据彭博社报道,苹果正开发自己的自主AI智能体,可代替用户编程、浏览网页、控制应用和设备操作。该计划由苹果官网“主动型、智能体式AI助手”招聘信息披露,苹果曾考虑最早明年年底推出,目前开发仍处早期阶段。

    来源 凤凰科技
  16. Uber建MCP Gateway:800个服务器、5000个工具如何统一调度

    作者 | Leela Kumili译者 | 田橙随着 AI 智能体在公司内部得到广泛采用,Uber 构建了一套 MCP Gateway,用于规范智能体发现和调用内部服务的方式,以解决集成碎片化、基础设施重复建设和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,为服务发现、协议转换、

    来源 腾讯网
  17. Meta Muse Charm定价300美元:可直连AI,赠12个月5G流量

    据The Information报道,Meta计划将新款AI设备Muse Charm定价为300美元,该设备配备屏幕和指纹传感器,用户触碰即可直接与Muse AI智能体语音对话,无需解锁手机。设备还可能附赠Verizon提供的12个月免费5G数据套餐,Meta未直接确认定价。

    来源 凤凰科技
  18. 谷歌AI智能体:模块化改代码,成功率从5.0%升至40.0%

    谷歌研究提出一种可自我改进的Harness框架,让优化模型通过修改代码而非仅调整提示词来提升智能体执行效率。实验中模块化修改并通过验证筛选的方案把任务成功率从5.0%提高到40.0%,每项任务约消耗4.67万Token;不受限整体重写虽达42.5%,但Token消耗约45.16万,接近前者的10倍。

    来源 凤凰科技
  19. OpenAI 开放 GPT-Live-1.1 API:开发者可接入实时双向语音对话

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交

    来源 腾讯网
  20. 银行警告AI智能体擅动账户:用户或需自担损失

    IT之家 11 月 19 日消息,如果你的 AI 智能体做出了一笔糟糕的财务决策,最终可能只能由你自己承担损失。 这是近期多家大型银行向客户发出的警告。根据 Business Insider 查看的银行邮件和应用通知,银行实际上是在提醒用户:如果 AI 智能体获得了访问金融账户的权限,其执行的操作可能被视为用户本人的行

    来源 AI 行业观察
  21. 苹果招聘曝光AI Agent计划:Siri要从动嘴变动手?

    苹果招聘信息透露,公司正开发可跨应用操作、独立规划并执行多步骤任务的 AI Agent,并强调隐私与权限管理。据彭博社报道,项目仍处早期阶段。面对已积累用户与收入的竞争对手,苹果正争夺下一代计算入口。

    来源 爱范儿
  22. 2027 AI进化峰会12月26日落地上海张江:模型如何走向物理世界

    12月26日,机器之心联合张江AI创新小镇在上海举办「2027 AI进化峰会」。大会聚焦模型底层、智能形成、系统承载与真实落地四大维度,邀请全球学者与产业专家探讨AI从单点能力向体系化协同进化的关键变量,解析Agent自主探索、光计算及具身智能等前沿趋势。

    来源 AI 应用前沿
向下滚动自动加载更多