机器人学完捡杯子开抽屉,能自己拼出没练过的动作吗
你有没有想过这样一个问题:一个机器人学会了"捡起杯子"和"打开抽屉"这两件事之后,它能不能自己推理出"把杯子放进抽屉里再关上"这种它从没练习过的组合动作?这听起来像是常识,人类孩子两三岁就能做到。但如果你去翻一翻现在的具身智能(也就是能在物理世界里行动的AI系统)研究会发现,这件事其实一直没人认真测过。来自...
一个机器人先后学会了“捡起杯子”和“打开抽屉”,它能否自己推出“把杯子放进抽屉再关上”这样的组合动作?这组动作它此前从未练过。
这听上去像常识,人类孩子两三岁就能办到。可翻一翻当下的具身智能研究——也就是让AI在物理世界里行动的那类研究——会发现这个问题一直没人认真测过。北京大学、北京通用人工智能研究院和香港大学的研究团队盯上了这块空白,做出一个叫EmbodiedCLBench的评测基准,专门回答它。
**卡点在哪里**
先把这个领域当前的困境说清楚。
持续学习*:模型或智能体能把过去经验中积累的知识不断用于新任务,而不是每遇到新任务就从零起步。
概念本身不新鲜,可过去的研究基本都在“非具身”环境里做。什么意思?研究对象是纯文本问答系统、代码生成模型,或者在数字世界里点点鼠标的网页自动化智能体。这些环境有一个共同点:不必处理三维空间、物理碰撞、视角变化这些麻烦事。
具身智能评测这边恰好相反。测机器人场景理解、导航、抓取操作的基准已经很多,但这些测试基本都是“一次性”的——让机器人做一个任务,看它做得怎么样,没人问过“如果它此前做过别的相关任务,会不会做得更好”。
好比要考察一个厨师能不能举一反三,题库里却全是独立菜品,从来没出过“你学会了炒青菜和煮米饭,现在做一份没做过的盖浇饭”这种题。研究者意识到,这种举一反三的能力正是机器人要在真实家庭、真实工厂里长期自主运作的核心前提,可现有测试体系里压根没有对应的考题。
**拿组合泛化当尺子**
研究团队的办法是:借助组合泛化这个概念,把“持续学习能力”变成可以量化测量的东西。
组合泛化*:模型把已学会的若干基本技能元素重新拼接组合,去解决一个从未见过的新任务的能力。
这个思路挺巧妙。持续学习本身是个很抽象的词,没法直接打分。换个角度就不一样:先让智能体做一批简单任务攒经验,再让它挑战一批没见过的复杂任务,看它能不能把简单任务里学到的东西用上——这就成了可操作、可打分的流程。
落到基准里,任务被切成三个层级。最底层是原子动作,即单次物体交互,比如“捡起杯子”,它本身还能拆成走过去、看一眼、拿起来三步。往上一层是基础任务,把两三个原子动作串成实际的家务操作,比如“把杯子放到桌上”。最顶层是高级任务,组合更多原子动作,比如“整理房间”要求先捡起书放到书架上,再关上柜子,还要把灯关掉。
有个细节值得多说一句。高级任务不是随便拼的,它的原子动作会跨越两到四个不同的基础任务类别。这是故意设计的,目的就是逼智能体真正理解不同技能之间怎么组合,而不是记住某一类任务的套路就能蒙混过关。
不这样设计会怎样?假设高级任务和基础任务用的都是同一类技能,智能体很可能只是在做简单的模式匹配,看到相似场景就套用相似动作,根本测不出它有没有真正学会迁移知识。就像考试只考课本原题的变体,你永远分不清学生是真理解了,还是单纯背熟了解题套路。
**离线的状态转移图:把仿真世界“拍扁”成可复用数据**
研究团队选的仿真平台叫TongSim,是一个支持丰富物理交互的室内家居场景仿真器。
TongSim*:北京通用人工智能研究院开发的通用智能体仿真平台,支持多种室内场景、51类物体和7种可执行动作,闭源版本功能比开源版本更丰富。
工程难题随之而来:闭源版本功能虽强,却没法拿来做大规模在线实时评测,跑不动那么多智能体反复交互。研究团队的解法,是把每个任务提前“录制”成一张状态转移图。
状态转移图*:任务怎么一步步执行,可以画成一张图来看。图上的每个节点,对应环境里的一个具体状态,像“人凑在柜子旁边、眼睛盯着台灯”这种;节点中间连的那条边,则是一个能执行的动作。整条路径走完,任务也就做完了。
图上每个节点都搭配了一张第一人称视角的图片,是直接从TongSim里截出来的,旁边还列着几个候选动作。评测的时候,智能体先看图片再挑动作,选完就进到下一个节点。整个过程都用不着真去跑仿真器。
这么做的好处一眼就能看出来。评测能彻底放到线下做,还能并行跑,不必一遍遍去启动那个又笨又重的仿真环境。任务难不难,研究者改改图的分支数量和深度就能调,控制得很准。更关键的是,每一步决策都能拿去跟事先算好的最优路径比对,行为分析因此能做得很细,智能体究竟在哪一步出了错、错的是哪一类,都能查得明明白白。
这就像把一场体育比赛提前拆解成逐帧的剧本和分镜,而不是每次都重新组织一整支球队到真实球场上比赛。没有这张图,每次想知道某个决策对不对,都得重跑一遍完整仿真,既慢又没法精确定位问题出在第几步。有了图,评测效率和诊断精度都上了一个台阶。
图里的候选动作还特意分成三种:跟着最短路径走的最优动作,能执行但绕远路的次优动作,以及在当前状态下根本执行不了的无效动作。这个三分类后面会在错误分析里派上大用场。
研究团队摆出了三种学习方式,做了一次横向比拼。
为了看清智能体的表现差异,他们设计了三种评测场景。
第一种是零样本:智能体不经历任何学习阶段,直接上场去完成基础任务或高级任务。
第二种是情境学习:学习阶段先让智能体完成两个相关的基础任务,到了测试阶段,这两个任务的完整交互轨迹都留在上下文里,供它参照着做。
第三种是技能学习:学习阶段同样完成两个基础任务,但完整轨迹不进上下文,而是由智能体自己把经验归纳成一份简短的技能摘要,测试阶段只把这份摘要交给它。
实验一共覆盖四种智能体框架——OpenClaw、Claude Code、Codex和Hermes,每种框架再各配两个不同的底层大模型。
结果很直观。零样本条件下,基础任务的成功率大体在50%上下,说明这类简单家务对当下的AI来说不算太难。可一换到高级任务,零样本成功率立刻掉到10%左右,个别框架只有3%到5%。高级任务是真难,这个结论站得住。
给了经验之后,局面就不同了。情境学习和技能学习两种方式,都能把高级任务的成功率推过30%。Hermes配Qwen3.8-Flash这一组,用上情境学习,成功率从8%直接升到44%。四种框架上都稳定出现了这种提升,基础任务里攒下的经验,确实能迁移到没见过的高级任务上。
有意思的是,情境学习和技能学习之间分不出高下,谁赢谁输并不固定。研究者推测,两种方式抓住的可能是经验里不同的有效信息:一个靠完整轨迹里的细节,一个靠总结出来的精炼要点,各有各的用处。
| 框架 | 模型 | 基础任务零样本 | 高级任务零样本 | 情境学习 | 技能学习 |
|---|---|---|---|---|---|
| Hermes | Qwen3.8-Flash | 58.9 | 8.0 | **44.0** | 33.0 |
| Hermes | GPT5.6-Terra | 53.0 | 11.0 | 16.0 | **34.0** |
| OpenClaw | Qwen3.8-Flash | 50.6 | 5.0 | 35.0 | **38.0** |
| OpenClaw | GPT5.6-Terra | 47.6 | 12.0 | **39.0** | 22.0 |
| Codex | Qwen3.8-Flash | 52.4 | 4.0 | 34.0 | 33.0 |
| Codex | GPT5.6-Terra | 54.8 | 11.0 | **52.0** | 26.0 |
| Claude Code | Qwen3.8-Flash | 42.9 | 3.0 | **27.0** | 31.0 |
| Claude Code | GPT5.6-Terra | 51.8 | 9.0 | **31.0** | 25.0 |
研究团队接着抛出第二个问题:任务越难,经验还值钱吗?
具体来说,高级任务需要组合的原子动作从3个加到6个,持续学习带来的好处会不会被摊薄?
按直觉想,任务越复杂,要拼的元素越多,智能体出错的机会也越多,此前积累的经验能帮上的忙应该会打折扣。
实际数据讲的是另一个故事。零样本成功率的确随复杂度上升而急跌,3个原子动作时还有28%,到6个原子动作时只剩4%,近乎断崖。可情境学习和技能学习相对零样本的“增益”——也就是用了经验比不用经验多出来的那部分成功率——基本稳在30%左右,并没有跟着明显往下走。
换句话说,任务难到零样本智能体几乎摸不着边(成功率4%),有经验的智能体照样能把成功率拉到32%上下。这就像一个新手厨师独自操办八道菜的宴席几乎必败,可他哪怕只认真练过两道相关的菜,也能比完全没练过的新手稳定多做出三成菜品;宴席加到十道、十二道,这份相对优势都不会消失。经验带来的提升,看起来不会随任务变难而被“稀释”,更像一种相对稳定的底层能力加成。
只学一次经验就够了吗?研究给出的答案有些出人意料:经验再加量,效果反而上不去。
在整篇论文里,这个发现是最反直觉的一处。
按常理推,持续学习这条研究路线能立住,靠的就是“经验越多越好”这个前提。可研究团队把学习阶段的基础任务数从0个逐步加到6个,看到的却是另一回事。
提升最猛的一段,出现在0个到1个之间。仅仅学1个基础任务,成功率就从8%到10%跳到28%到40%,整个提升空间的大头几乎都集中在这一步。过了这个点,再加到2个、3个、4个、5个、6个,成功率曲线开始忽上忽下,稳定的上升趋势看不出来,四条曲线里没有一条保持持续增长。
这意味着什么?眼下的智能体似乎只吃“有没有经验”这一口,至于“经验有多少”,它们提取不出更细的增量信息。
拿学骑车打比方:第一次摔过之后,人忽然就找到了平衡的感觉;可你让他再摔十次,水平也不会跟着涨十倍。关键信息在第一次摔倒时已经拿到了,后面重复摔,给的是冗余信息,不是新知识。真正可扩展的持续学习如果成立,成功率本该随样本数稳步往上走;现实却是第一个样本之后曲线就进了混乱的平台期。这说明现在的智能体还谈不上“越学越强”,它们学到的可能只是“有没有相关经验”这件事本身,而不是经验里那些能一点点攒起来的细节。
那经验究竟改了什么?答案是少犯“根本做不到”的错。
经验有用已经确认,接下来要问的是它怎么起作用。研究团队为此做了一次挺细的拆解。
前文提过,图上的候选动作分三类:最优动作、能执行但绕远的次优动作、压根执行不了的无效动作。研究者分别统计了零样本和有经验两种状态下,智能体选择这三类动作的比例怎么变。
结果是:有经验之后,选无效动作的比例明显下滑,降幅在13%到20%之间;选最优动作的比例明显上升,次优动作也略有增加。四个框架上,趋势一致。
这个结果挺关键。它说明经验的作用机制,不是让智能体更聪明地去“规划最短路径”,而更像是先教会它“当前场景里哪些事根本做不了”。无效动作少了,智能体就能更顺地走在可执行路径上,在步数预算耗尽前抵达终点的机会也更大。
好比带一个从没下过厨的人做第一顿饭:他可能把冻肉直接塞进烤箱不解冻,也可能锅还没热就倒油。这些举动不是“方向错了”,是压根不符合物理操作规律。只要他之前看过一次别人做饭,至少会知道这些路子走不通,把精力留给真正要判断的环节,比如火候和调味。经验先帮忙排掉走不通的岔路,然后才谈怎么走最优路径。
还有个细节:情境学习带来的行为转变幅度,普遍比技能学习更大。研究者推测,这或许跟经验的呈现形式有关——完整的交互轨迹更容易让智能体照搬具体操作模式;总结过的技能摘要信息更凝练,改变幅度相对克制,也更聚焦。
容错空间给得足一些,经验带来的优势还会放大。
论文还测了一个工程细节:允许超出最短路径的步数预算如果放宽,结果会怎么变。
默认设置下,测试阶段允许比最短路径多走3步作为容错,学习阶段允许多走6步便于探索。研究团队把容错步数从0一路调到6,观察三种设置下成功率曲线的变化。
三条曲线都单调上升,这并不意外——预算越宽松,智能体犯错的成本越低。有意思的是最严苛的0步容错:零样本成功率直接是0%,情境学习和技能学习却分别还能做到15%和7%。就算放宽到6步容错,零样本和有经验智能体之间的差距依然很大,并没有被“抹平”。
这说明什么?只把容错步数放宽,替代不了经验本身。给一个毫无相关背景的人再多时间,他可能还在做无意义的尝试;有经验的人哪怕时间紧,也能更快找准方向。预算宽松度和经验积累管的是两个维度的事:一个管“容不容许犯错”,一个管“知不知道往哪走”,两者换不了。
写在后面。
读完论文,让我反复琢磨的正是“一次经验就够、更多经验没用”这个发现。它某种程度上推翻了我对“持续学习”这个词的默认想象——我原以为它的价值就该体现在一条持续上扬的曲线上,越积累越强。可这些基于大语言模型的智能体现在展现出来的,更像“开关式”的能力获取:有没有踩过门槛是关键,踩过之后的量变没带来质变。
这让我想到人类学习里一个类似但不完全相同的现象:有些技能确实存在“顿悟式”学习,核心原理一旦理解,后续重复练习的边际收益会迅速递减,除非开始接触结构完全不同的新情境。那么问题来了:这些智能体榨不出额外信息,究竟是因为底层大模型的上下文整合能力有限,还是因为基准里那几个基础任务彼此太相似、信息本身就有冗余?论文没有回答,但至少把这个盲区清楚地摆上了桌面,让后来的人知道该往哪个方向继续挖。
如果连续学十次都没法让一个AI机器人更会整理房间,那真正让它“学会学习”所缺的那一块,到底藏在哪里?
Q&A
Q1:EmbodiedCLBench是什么?
北京大学等机构推出 EmbodiedCLBench,这是首个面向具身仿真的持续学习评测基准。按设计,它要检验 AI 智能体能否把简单家务任务里掌握的技能组合起来,迁移到此前没见过的复杂任务中。
学的经验越多,智能体是不是就越能干?edCLBench 的实验给出的答案是否定的。只学 1 个基础任务,成功率就能大幅跃升;可学习样本数量继续往上加,成功率却不再稳定提高。按研究者的解释,这说明当下的智能体还没法从额外经验里持续提取出有效信息。
那么,有经验的智能体和零样本智能体比起来,究竟强在哪?数据显示,前者选择无效动作的比例降了 13% 到 20%,明显低于后者;同时,它更多挑中落在最优路径上的动作。照此看,经验带来的主要是把不可执行的错误选项排除掉,规划本身并没有因此变得更聪明。