AI智能体游戏反复失败:问题出在"没见过"
你让一个AI智能体去玩一个文字冒险游戏,比如ALFWorld里的那种任务:把苹果放进冰箱冷藏。它尝试了一百次,一百次都失败在同一个地方,比如它压根没想到要先打开冰箱门。这时候你用再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西吗?答案是挖不出来。因为这一百条轨迹里根本没出现过"打开冰箱门"这个动作,你没法...
让一个AI智能体去玩ALFWorld里的文字冒险任务,比如把苹果放进冰箱冷藏。它试了一百次,一百次都栽在同一个环节——压根没想到要先打开冰箱门。
这时候,拿再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西?
挖不出来。一百条轨迹里,"打开冰箱门"这个动作从没出现过,不存在的数据学不会。这篇论文要解决的就是这件事。
强化学习卡住的地方,就是"没见过"
眼下训练AI智能体做长链条任务,主流用的是群体强化学习一类技术。
**
这套思路在数学推理这类任务上效果不错,但放到像ALFWorld(家居任务模拟环境)、
三四十步才能分出胜负的对局里,奖励往往来得又晚又零散,最后输了到底该算在哪一步头上,很难讲明白。这几年学界盯着的就是"功劳和过错怎么落到具体某一步"这件事,陆续冒出
不过论文作者盯上了一个更靠前的瓶颈:这些方法再精细,折腾的也只是已经采样到的轨迹。
智能体采到的轨迹要是全都没碰上正确行为,这些高级信用分配技术就像一位特别会批作文的老师,学生交上来的全是跑题文章,老师顶多给这些跑题文章排个名次,没法凭空教会学生怎么写对题。
说到底,不是算法不聪明,是数据没给它学的机会。
那怎么办?让"老师"在关键节点亲自下场做示范。
**
这个思路已经有不少改进版本,有的把教师指导延伸到好几步,有的用后续策略尝试来验证这次指导有没有用。作者注意到一点:这些方法的监督信号,盯的始终是教师那一个纠正动作、教师写的一段示范前缀,或者这次干预的最终结果。
教师接管之后发生的那一整个过程,它们并没有真正学进去。
这个差别乍看很细,放到交互式环境里却相当要命。智能体某一步走错,教师把这一步纠正了,下一步看到的环境画面就全变了,智能体原先自己走的那条老路彻底用不上。教师纠正之后会发生什么、智能体该怎么应对这个新局面,这些才是有价值的信息,可现有方法大多没学这部分。
这就是
教师接手后,把整条新路走一遍
SERO
做法分三步。第一步,智能体照常跑任务,产生一堆轨迹,这些轨迹照常拿去训练基础强化学习目标,这部分完全不动。第二步,从轨迹里挑一个智能体真实到达过的状态,像游戏存档读档那样把环境恢复到那个节点,再让一个只在训练时出现的"神谕"(oracle,知道正确答案的规则化专家或规划器)接管,在真实环境里接着往下走好几步,而不是给一个动作就收工。第三步,把神谕走出来的完整路径当作新学习素材喂给模型。
**
关键设计在于,神谕的每一步动作都得在环境里真实执行。为什么这一点重要?
可以这样想:教一个刚学开车的人倒车入库,他方向盘打早了,车已经歪了。你只在旁边说一句"这里应该往左打半圈",然后就不管,他学到的只是那一瞬间的修正。可你要是干脆接过方向盘,把车真倒进去,车身角度怎么变、什么时候回正、什么时候踩刹车,这一整套连续反应才是真正有用的驾驶经验。只纠正一个瞬间的动作,和真实走完整条路,信息量差着量级。
论文专门做了实验来验证。只学第一步纠正动作的版本(Root-only),在ALFWorld上的成功率不但没涨,反而比不加任何干预的基线低了2.87到4.17个百分点。学完整连续路径的版本,成功率直接涨了7个百分点以上。光给一次性纠正不够,得让智能体看到纠正之后的整条后续剧情。
越往后的步骤,权重越要打折
不过事情没这么简单。神谕接管后走的每一步在环境里都真实可执行,但这不代表每一步对当前智能体都同样有用。
神谕接管的第一步,是智能体自己真实走到的起点,参考价值没得说。再往后几步,那些状态是神谕按自己的"正确答案"规划出来的,智能体眼下未必跟得上。好比让一个刚学做菜的人照米其林大厨的详细菜谱做一道复杂的菜,第一步切菜他能跟上,后面要精确控温、分毫不差地调味,他现在的水平根本模仿不来。这时候硬逼他按菜谱每个细节死记,反而学得一团乱,因为这些步骤离他现有能力太远,与其说学习,不如说硬塞一套他执行不了的流程。
每一步都给一样重的学习权重,深层步骤就会搅乱训练,智能体压根跟不上那么远的指令。
**
具体是这么算的:第一步权重永远是1,往后每一步的权重,等于前面所有步骤的兼容度连乘。前面某一步旧策略完全说不出神谕那样的话,后面所有步骤的权重都会被这一步拖小,相当于自动把那些"智能体现在够不着"的深层步骤的学习力度调低。
论文并没有只停在机制设计上,还专门做实验验证这个连乘机制是否真的起作用。研究者固定同一批神谕路径,仅打乱权重的分配规则——数值不变,位置错开。结果ALFWorld成功率从88.02%降到85.16%,未见过的新任务上从85.94%跌到80.73%,跌幅超过5个百分点。权重不是随便给点递减就行,得真正对应每一步的可达性;错位分配造成的损害相当明显。
论文还观察到另一个现象:单看神谕某一步动作与旧策略的局部兼容度,这个数字波动很大,有时隔了好几步仍然很高。但把连乘的"前缀可达性"算出来后,曲线就清楚了。训练早期(比如第10步)权重衰减得很快,说明神谕能有效教的范围很短;训练到后期(比如第140步)权重能维持更长一段距离,说明智能体自身在变强,能跟着神谕走得更远。监督范围随训练进程自动延伸,正是这套连乘机制想要的效果。不过,并非每次接管都值得学习,还得看结果好不好。
光有可达性还不够。具体做法是比较同一个起点下两种结果:智能体自己原本走下去的结果,与神谕接管后走出来的结果,哪个更好。只有神谕路径确实优于智能体自行探索的结果,这条路径才会进入训练;改进幅度越大,这条路径拿到的整体权重也越大。
这一设计防的是一种情况:万一神谕接管后也没走出好结果,比如它恰好也卡在某个环境特有的坑里,那这条路径就不该被当成正面教材硬塞给模型。
最终,SERO的训练目标把三层东西叠在一起:改进门控判断这条神谕路径整体值不值得学,前缀可达性权重决定每一步给多大的学习力度,再乘上这一步动作本身的监督损失。这个损失作为额外辅助项加到原本的强化学习损失上,原来的奖励、优势值、策略比率等计算方式完全不受影响。换句话说,SERO没有替换原有训练框架,而是在旁边加了一条新的学习通道。
实验结果方面,论文在ALFWorld和另一项基准上做了测试。下面这张表是核心结果,重点看加入SERO之后的变化。
模型规模 | 方法 | ALFWorld 已见任务成功率 | ALFWorld 未见任务成功率
|---|---|---|---|---|---|
| 1.5B |
| 1.5B |
| 1.5B |
| 1.5B |
| 7B |
| 7B | GraphGPO + SERO | **95.57** | **87.50** | **91.93** | **83.67** |
| 7B |
| 7B | HGPO + SERO | **94.53** | **91.41** | **87.63** | **79.63** |
7B 模型上的 GraphGPO 交出了最抢眼的一组数:那些训练阶段从未接触过的新场景,成功率由 76.30% 升到 87.50%,足足多了 11.2 个百分点。放到这类基准测试里衡量,这一涨幅并不常见。它指向的不只是智能体把见过的题型练得更熟,更关键的是面对陌生任务时本事确实变强了。原因其实不难理解——神谕能把智能体领进它自己从未涉足的状态,训练数据的覆盖面因此被撑大,见多识广之后,再碰上没见过的任务自然应付得更稳。
论文另做了一轮拆解,把三种方案摆到一起对照:只学第一步怎么纠正、学完整路径但每步权重一样、学完整路径并按可达性加权。结论是:只纠正第一步反而会拉低效果;完整路径配上均匀权重就已经有明显进步;再叠加可达性加权,在没见过的任务上又能多出 3.39 个百分点。这组结果说明两头都得抓——后续剧情要完整学,可每一步也不能同等对待。
为了排除其他解释,研究者还设了几组控制实验,其中一项专门检验:提升会不会只是多跑了几次环境交互换来的。他们给基线方法额外补了 15 步探索,把交互次数拉到和 SERO 相当,结果基线仍然追不上 SERO。可见效果出在神谕示范本身,并非靠堆训练算力堆出来的。
写在后面
读这篇论文时,有个细节让我琢磨了很久:研究者为什么没选更省事的办法,比如让教师把每一步都指导到位、权重一律拉平?
后来想通了,这背后是个更普遍的道理——一份高质量的示范,并不代表它每一部分都适合直接照搬。新手模仿专家,前几步的动作多半跟得上,可专家后面那些建立在深厚经验上的细微判断,新手硬学只会学成四不像。SERO的可达性加权,说到底在回答一个问题:这份示范里,哪一部分是现在的我真的够得着的。这问题不限于强化学习,任何教学场景里都存在。
论文也把话说在前头,承认了自己的局限。它依赖环境能被精确恢复到某个历史状态,还得有个现成的专家规则或规划器来当神谕,这两个前提在不少真实场景里未必满足。换成没法存档读档的物理环境,或者一个根本没有标准答案的开放式任务,这套方法还能不能用?这是个值得继续追问的问题。
另外有一点可以多想一步。论文把“教师接管后走出来的路径”和“智能体自己在学的那条路径”放在同一个起点上比较,这种设计绕开了一个常见陷阱:拿两个起点不一样的东西比谁更好。不少看似合理的比较,恰恰忽略了起点公不公平这件事。
Q&A
Q1:SERO是什么?
A:SERO全称
Q2:策略可达性加权解决了什么问题?
A:它解决的是神谕接管后走出的路径中,深层步骤离智能体现有能力太远、强行学习反倒搅乱训练的问题。具体做法是拿一个冻结的旧策略给神谕每一步动作打兼容度分数,再把前面所有步骤的分数连乘,越往后权重越低,自动减轻对智能体暂时够不着的深层步骤的学习力度。
Q3:SERO在实验里效果如何?
A:在ALFWorld和