机器人学完捡杯子开抽屉,能自己拼出没练过的动作吗

资讯 腾讯网 作者:腾讯网 全文 6160 字 · 约 16 分钟读完 分类机器人具身智能

你有没有想过这样一个问题:一个机器人学会了"捡起杯子"和"打开抽屉"这两件事之后,它能不能自己推理出"把杯子放进抽屉里再关上"这种它从没练习过的组合动作?这听起来像是常识,人类孩子两三岁就能做到。但如果你去翻一翻现在的具身智能(也就是能在物理世界里行动的AI系统)研究会发现,这件事其实一直没人认真测过。来自...

所属频道 机器人与具身智能

一个机器人先后学会了“捡起杯子”和“打开抽屉”,它能否自己推出“把杯子放进抽屉再关上”这样的组合动作?这组动作它此前从未练过。

这听上去像常识,人类孩子两三岁就能办到。可翻一翻当下的具身智能研究——也就是让AI在物理世界里行动的那类研究——会发现这个问题一直没人认真测过。北京大学、北京通用人工智能研究院和香港大学的研究团队盯上了这块空白,做出一个叫EmbodiedCLBench的评测基准,专门回答它。

**卡点在哪里**

先把这个领域当前的困境说清楚。

持续学习*:模型或智能体能把过去经验中积累的知识不断用于新任务,而不是每遇到新任务就从零起步。

概念本身不新鲜,可过去的研究基本都在“非具身”环境里做。什么意思?研究对象是纯文本问答系统、代码生成模型,或者在数字世界里点点鼠标的网页自动化智能体。这些环境有一个共同点:不必处理三维空间、物理碰撞、视角变化这些麻烦事。

具身智能评测这边恰好相反。测机器人场景理解、导航、抓取操作的基准已经很多,但这些测试基本都是“一次性”的——让机器人做一个任务,看它做得怎么样,没人问过“如果它此前做过别的相关任务,会不会做得更好”。

好比要考察一个厨师能不能举一反三,题库里却全是独立菜品,从来没出过“你学会了炒青菜和煮米饭,现在做一份没做过的盖浇饭”这种题。研究者意识到,这种举一反三的能力正是机器人要在真实家庭、真实工厂里长期自主运作的核心前提,可现有测试体系里压根没有对应的考题。

**拿组合泛化当尺子**

研究团队的办法是:借助组合泛化这个概念,把“持续学习能力”变成可以量化测量的东西。

组合泛化*:模型把已学会的若干基本技能元素重新拼接组合,去解决一个从未见过的新任务的能力。

这个思路挺巧妙。持续学习本身是个很抽象的词,没法直接打分。换个角度就不一样:先让智能体做一批简单任务攒经验,再让它挑战一批没见过的复杂任务,看它能不能把简单任务里学到的东西用上——这就成了可操作、可打分的流程。

落到基准里,任务被切成三个层级。最底层是原子动作,即单次物体交互,比如“捡起杯子”,它本身还能拆成走过去、看一眼、拿起来三步。往上一层是基础任务,把两三个原子动作串成实际的家务操作,比如“把杯子放到桌上”。最顶层是高级任务,组合更多原子动作,比如“整理房间”要求先捡起书放到书架上,再关上柜子,还要把灯关掉。

有个细节值得多说一句。高级任务不是随便拼的,它的原子动作会跨越两到四个不同的基础任务类别。这是故意设计的,目的就是逼智能体真正理解不同技能之间怎么组合,而不是记住某一类任务的套路就能蒙混过关。

不这样设计会怎样?假设高级任务和基础任务用的都是同一类技能,智能体很可能只是在做简单的模式匹配,看到相似场景就套用相似动作,根本测不出它有没有真正学会迁移知识。就像考试只考课本原题的变体,你永远分不清学生是真理解了,还是单纯背熟了解题套路。

**离线的状态转移图:把仿真世界“拍扁”成可复用数据**

研究团队选的仿真平台叫TongSim,是一个支持丰富物理交互的室内家居场景仿真器。

TongSim*:北京通用人工智能研究院开发的通用智能体仿真平台,支持多种室内场景、51类物体和7种可执行动作,闭源版本功能比开源版本更丰富。

工程难题随之而来:闭源版本功能虽强,却没法拿来做大规模在线实时评测,跑不动那么多智能体反复交互。研究团队的解法,是把每个任务提前“录制”成一张状态转移图。

状态转移图*:任务怎么一步步执行,可以画成一张图来看。图上的每个节点,对应环境里的一个具体状态,像“人凑在柜子旁边、眼睛盯着台灯”这种;节点中间连的那条边,则是一个能执行的动作。整条路径走完,任务也就做完了。

图上每个节点都搭配了一张第一人称视角的图片,是直接从TongSim里截出来的,旁边还列着几个候选动作。评测的时候,智能体先看图片再挑动作,选完就进到下一个节点。整个过程都用不着真去跑仿真器。

这么做的好处一眼就能看出来。评测能彻底放到线下做,还能并行跑,不必一遍遍去启动那个又笨又重的仿真环境。任务难不难,研究者改改图的分支数量和深度就能调,控制得很准。更关键的是,每一步决策都能拿去跟事先算好的最优路径比对,行为分析因此能做得很细,智能体究竟在哪一步出了错、错的是哪一类,都能查得明明白白。

这就像把一场体育比赛提前拆解成逐帧的剧本和分镜,而不是每次都重新组织一整支球队到真实球场上比赛。没有这张图,每次想知道某个决策对不对,都得重跑一遍完整仿真,既慢又没法精确定位问题出在第几步。有了图,评测效率和诊断精度都上了一个台阶。

图里的候选动作还特意分成三种:跟着最短路径走的最优动作,能执行但绕远路的次优动作,以及在当前状态下根本执行不了的无效动作。这个三分类后面会在错误分析里派上大用场。

研究团队摆出了三种学习方式,做了一次横向比拼。

为了看清智能体的表现差异,他们设计了三种评测场景。

第一种是零样本:智能体不经历任何学习阶段,直接上场去完成基础任务或高级任务。

第二种是情境学习:学习阶段先让智能体完成两个相关的基础任务,到了测试阶段,这两个任务的完整交互轨迹都留在上下文里,供它参照着做。

第三种是技能学习:学习阶段同样完成两个基础任务,但完整轨迹不进上下文,而是由智能体自己把经验归纳成一份简短的技能摘要,测试阶段只把这份摘要交给它。

实验一共覆盖四种智能体框架——OpenClaw、Claude Code、Codex和Hermes,每种框架再各配两个不同的底层大模型。

结果很直观。零样本条件下,基础任务的成功率大体在50%上下,说明这类简单家务对当下的AI来说不算太难。可一换到高级任务,零样本成功率立刻掉到10%左右,个别框架只有3%到5%。高级任务是真难,这个结论站得住。

给了经验之后,局面就不同了。情境学习和技能学习两种方式,都能把高级任务的成功率推过30%。Hermes配Qwen3.8-Flash这一组,用上情境学习,成功率从8%直接升到44%。四种框架上都稳定出现了这种提升,基础任务里攒下的经验,确实能迁移到没见过的高级任务上。

有意思的是,情境学习和技能学习之间分不出高下,谁赢谁输并不固定。研究者推测,两种方式抓住的可能是经验里不同的有效信息:一个靠完整轨迹里的细节,一个靠总结出来的精炼要点,各有各的用处。

| 框架 | 模型 | 基础任务零样本 | 高级任务零样本 | 情境学习 | 技能学习 |

|---|---|---|---|---|---|

| Hermes | Qwen3.8-Flash | 58.9 | 8.0 | **44.0** | 33.0 |

| Hermes | GPT5.6-Terra | 53.0 | 11.0 | 16.0 | **34.0** |

| OpenClaw | Qwen3.8-Flash | 50.6 | 5.0 | 35.0 | **38.0** |

| OpenClaw | GPT5.6-Terra | 47.6 | 12.0 | **39.0** | 22.0 |

| Codex | Qwen3.8-Flash | 52.4 | 4.0 | 34.0 | 33.0 |

| Codex | GPT5.6-Terra | 54.8 | 11.0 | **52.0** | 26.0 |

| Claude Code | Qwen3.8-Flash | 42.9 | 3.0 | **27.0** | 31.0 |

| Claude Code | GPT5.6-Terra | 51.8 | 9.0 | **31.0** | 25.0 |

研究团队接着抛出第二个问题:任务越难,经验还值钱吗?

具体来说,高级任务需要组合的原子动作从3个加到6个,持续学习带来的好处会不会被摊薄?

按直觉想,任务越复杂,要拼的元素越多,智能体出错的机会也越多,此前积累的经验能帮上的忙应该会打折扣。

实际数据讲的是另一个故事。零样本成功率的确随复杂度上升而急跌,3个原子动作时还有28%,到6个原子动作时只剩4%,近乎断崖。可情境学习和技能学习相对零样本的“增益”——也就是用了经验比不用经验多出来的那部分成功率——基本稳在30%左右,并没有跟着明显往下走。

换句话说,任务难到零样本智能体几乎摸不着边(成功率4%),有经验的智能体照样能把成功率拉到32%上下。这就像一个新手厨师独自操办八道菜的宴席几乎必败,可他哪怕只认真练过两道相关的菜,也能比完全没练过的新手稳定多做出三成菜品;宴席加到十道、十二道,这份相对优势都不会消失。经验带来的提升,看起来不会随任务变难而被“稀释”,更像一种相对稳定的底层能力加成。

只学一次经验就够了吗?研究给出的答案有些出人意料:经验再加量,效果反而上不去。

在整篇论文里,这个发现是最反直觉的一处。

按常理推,持续学习这条研究路线能立住,靠的就是“经验越多越好”这个前提。可研究团队把学习阶段的基础任务数从0个逐步加到6个,看到的却是另一回事。

提升最猛的一段,出现在0个到1个之间。仅仅学1个基础任务,成功率就从8%到10%跳到28%到40%,整个提升空间的大头几乎都集中在这一步。过了这个点,再加到2个、3个、4个、5个、6个,成功率曲线开始忽上忽下,稳定的上升趋势看不出来,四条曲线里没有一条保持持续增长。

这意味着什么?眼下的智能体似乎只吃“有没有经验”这一口,至于“经验有多少”,它们提取不出更细的增量信息。

拿学骑车打比方:第一次摔过之后,人忽然就找到了平衡的感觉;可你让他再摔十次,水平也不会跟着涨十倍。关键信息在第一次摔倒时已经拿到了,后面重复摔,给的是冗余信息,不是新知识。真正可扩展的持续学习如果成立,成功率本该随样本数稳步往上走;现实却是第一个样本之后曲线就进了混乱的平台期。这说明现在的智能体还谈不上“越学越强”,它们学到的可能只是“有没有相关经验”这件事本身,而不是经验里那些能一点点攒起来的细节。

那经验究竟改了什么?答案是少犯“根本做不到”的错。

经验有用已经确认,接下来要问的是它怎么起作用。研究团队为此做了一次挺细的拆解。

前文提过,图上的候选动作分三类:最优动作、能执行但绕远的次优动作、压根执行不了的无效动作。研究者分别统计了零样本和有经验两种状态下,智能体选择这三类动作的比例怎么变。

结果是:有经验之后,选无效动作的比例明显下滑,降幅在13%到20%之间;选最优动作的比例明显上升,次优动作也略有增加。四个框架上,趋势一致。

这个结果挺关键。它说明经验的作用机制,不是让智能体更聪明地去“规划最短路径”,而更像是先教会它“当前场景里哪些事根本做不了”。无效动作少了,智能体就能更顺地走在可执行路径上,在步数预算耗尽前抵达终点的机会也更大。

好比带一个从没下过厨的人做第一顿饭:他可能把冻肉直接塞进烤箱不解冻,也可能锅还没热就倒油。这些举动不是“方向错了”,是压根不符合物理操作规律。只要他之前看过一次别人做饭,至少会知道这些路子走不通,把精力留给真正要判断的环节,比如火候和调味。经验先帮忙排掉走不通的岔路,然后才谈怎么走最优路径。

还有个细节:情境学习带来的行为转变幅度,普遍比技能学习更大。研究者推测,这或许跟经验的呈现形式有关——完整的交互轨迹更容易让智能体照搬具体操作模式;总结过的技能摘要信息更凝练,改变幅度相对克制,也更聚焦。

容错空间给得足一些,经验带来的优势还会放大。

论文还测了一个工程细节:允许超出最短路径的步数预算如果放宽,结果会怎么变。

默认设置下,测试阶段允许比最短路径多走3步作为容错,学习阶段允许多走6步便于探索。研究团队把容错步数从0一路调到6,观察三种设置下成功率曲线的变化。

三条曲线都单调上升,这并不意外——预算越宽松,智能体犯错的成本越低。有意思的是最严苛的0步容错:零样本成功率直接是0%,情境学习和技能学习却分别还能做到15%和7%。就算放宽到6步容错,零样本和有经验智能体之间的差距依然很大,并没有被“抹平”。

这说明什么?只把容错步数放宽,替代不了经验本身。给一个毫无相关背景的人再多时间,他可能还在做无意义的尝试;有经验的人哪怕时间紧,也能更快找准方向。预算宽松度和经验积累管的是两个维度的事:一个管“容不容许犯错”,一个管“知不知道往哪走”,两者换不了。

写在后面。

读完论文,让我反复琢磨的正是“一次经验就够、更多经验没用”这个发现。它某种程度上推翻了我对“持续学习”这个词的默认想象——我原以为它的价值就该体现在一条持续上扬的曲线上,越积累越强。可这些基于大语言模型的智能体现在展现出来的,更像“开关式”的能力获取:有没有踩过门槛是关键,踩过之后的量变没带来质变。

这让我想到人类学习里一个类似但不完全相同的现象:有些技能确实存在“顿悟式”学习,核心原理一旦理解,后续重复练习的边际收益会迅速递减,除非开始接触结构完全不同的新情境。那么问题来了:这些智能体榨不出额外信息,究竟是因为底层大模型的上下文整合能力有限,还是因为基准里那几个基础任务彼此太相似、信息本身就有冗余?论文没有回答,但至少把这个盲区清楚地摆上了桌面,让后来的人知道该往哪个方向继续挖。

如果连续学十次都没法让一个AI机器人更会整理房间,那真正让它“学会学习”所缺的那一块,到底藏在哪里?

Q&A

Q1:EmbodiedCLBench是什么?

北京大学等机构推出 EmbodiedCLBench,这是首个面向具身仿真的持续学习评测基准。按设计,它要检验 AI 智能体能否把简单家务任务里掌握的技能组合起来,迁移到此前没见过的复杂任务中。

学的经验越多,智能体是不是就越能干?edCLBench 的实验给出的答案是否定的。只学 1 个基础任务,成功率就能大幅跃升;可学习样本数量继续往上加,成功率却不再稳定提高。按研究者的解释,这说明当下的智能体还没法从额外经验里持续提取出有效信息。

那么,有经验的智能体和零样本智能体比起来,究竟强在哪?数据显示,前者选择无效动作的比例降了 13% 到 20%,明显低于后者;同时,它更多挑中落在最优路径上的动作。照此看,经验带来的主要是把不可执行的错误选项排除掉,规划本身并没有因此变得更聪明。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 具身智能数据采集员:日薪180元,给机器人当“老师”的流水线工人

    我成了流水线上随时可以被替换的人。 文 | 王智鹏 编辑 | 刘思洁 视觉 | 曲枚 我满脑子里都是《克莱因壶》里那只手套,薄薄一层液体夹层,电流一接,手掌就能触碰到虚拟世界。刚开始我以为数据采集也是这样的。 今年7月,人社部公示拟新增12个职业,“具身智能机器人应用技术员”是其中之一,“数据采集员”正是其下的具体..

    来源 腾讯网
  2. 新闻8点见丨北京发布具身智能机器人三年发展蓝图;新京报创刊23周年

    【关注】新京报举行创刊23周年系统性变革战略发布会:这一年做成三件事从一张报纸,到一个生态。11月11日,新京报创刊23周年系统性变革战略发布会举行,来自政府部门、企业、高校、媒体等各界的300多位合作伙伴参加。新京报社党委书记、社长毛晓刚以“变革,重塑生态”为题作主旨演讲,系统阐述变革的路径与举措。(新京报...

    来源 腾讯网
  3. 逃离具身数采:40元接单20元雇人、合格率50%、利润为负

    短短几个月间,具身智能从一个生涩、遥远的名词变成了数百支团队赖以维生的核心。 当你来到河南、宁夏、四川、内蒙……在某个地级县市,可能会看到许多人头戴摄像头、录下自己的一举一动,再将这些视频数据回传给具身企业、用作训练机器人的养料。 这背后是技术推动下的资本爆发。据IT桔子调研数据,仅2026年上半年,国内具身智能赛道融

    来源 AI 行业观察
  4. 英伟达开源GR00T 2:人类视频如何教会机器人干活

    英伟达在CoRL大会发布新一代机器人基础模型GR00T 2,核心突破在于利用40万小时人类视频实现跨本体技能迁移。该模型支持从人类示范直接迁移到机器人,无需针对每种机型重新采集数据。同时开放10万小时数据集及完整工具链,旨在降低具身智能开发门槛。文章解析其技术原理、数据构成及与Anthropic新模型的对比。

    来源 AI 应用前沿
  5. 昆腾动力机器人进菜鸟仓库,近5000台订单开启规模交付

    随着2026年“双十一”线上活动落幕,国内物流也将迎来新一波年度高峰。今年购物节周期拉长、订单波峰叠加,仓库里用工最紧张、最难补位的仍是拣货、打包、称重、量方、供包这类环节。昆腾动力的具身机器人首次进入菜鸟供应链“双十一”真实作业现场。 2026年11月,昆腾动力宣布,公司在称重量方、分拣供包、固定拣选等场景完成产品与

    来源 AI 行业观察
  6. 蚂蚁灵波开源LingBot-Touch:机器人触觉感知有了统一底座

    蚂蚁灵波科技开源了触觉基础模型LingBot-Touch,旨在解决机器人精细操作中触觉感知缺失的痛点。该模型基于近5000小时真实数据训练,能将磁触觉、视触觉和压阻式等不同传感器的信号转化为统一的触觉表征。真机测试显示,接入该模型后,机器人在拧瓶盖、翻书等26项任务中的成功率提升了14%至26%。其核心优势在于“跨硬件

    来源 AI 应用前沿
  7. 蚂蚁灵波开源LingBot-Touch:触觉数据为何拖累机器人成功率

    直接给机器人喂原始触觉数据,成功率不升反降。蚂蚁灵波开源的LingBot-Touch模型充当“翻译”,将不同传感器的杂乱信号统一编码为触觉Token。实测显示,该模型能让多种灵巧手在拉拉链、拧瓶盖等精细任务上的成功率提升20%以上,且无需针对新硬件重新训练,解决了具身智能中触觉数据难以通用的难题。

    来源 AI 应用前沿
  8. 连文昭回国创业:源络机器人进实验室,自主科研闭环还有多远?

    2023 年,连文昭决定离开硅谷,回国创业。这个决定背后,是他在机器人领域十多年的积累。连文昭曾先后在 Vicarious 从事通用人工智能研究、在 Google X 任资深研究科学家、在 Figure AI 任技术总监,并是 Figure AI 的初创成员之一。经历了从通用人工智能探索到机器人模型、软硬件协同的不同阶

    来源 腾讯网
  9. 北大数院团队MXI-SimWorld登顶RoboColiseum具身评测总榜

    在 RoboColiseum 最新一期周榜中,MXI-SimWorld 以 0.9656 的成绩位列总榜第一、空间理解、通用操作子榜第一。当大模型开始走进物理世界,如何让机器人理解指令、感知环境并完成操作,成为具身智能领域的重要课题。11月11日,RoboColiseum 官方发布新一期周榜,榜单显示,截至2026年1

    来源 腾讯网
  10. 贡嘎第五代人形机器人发布:自研具身智能大脑,宣称全球领先

    作为成都人形机器人创新中心具身智能大脑技术的集大成之作,五代贡嘎搭载自研一体化具身智能系统,在场景感知、时空记忆、因果推理规划、动作世界模型等核心模块完成系统性迭代,宣称“代表当前全球第一梯队的人形机器人大脑技术最高水平”。

    来源 IT之家
  11. 桌面摄影机器人:不架滑轨,怎么拍出推拉环绕?

    一个美食创作者想把镜头从餐桌全景慢慢推到一碗面上。这个动作不难,难的是他没有第二个人帮他推,也没有空间在桌上架一条滑轨。最后他切了一个固定机位,画面清楚,但缺少呼吸感。 这张桌子,是今天很多内容创作的真实现场。产品测评、美食、美妆、直播、带货,大量拍摄都发生在几平方米之内。 设备其实已经不差:手机能拍4K,口袋云台能稳

    来源 AI 行业观察
  12. Microduck机器人实测:用OpenAI模型教它走路,还能追猫

    一只巴掌大的塑料鸭子,在客厅里摇摇摆摆地追着我的猫跑。借助一个 OpenAI 模型,我教会了这台叫 Microduck 的小机器人走路,甚至让它兼职当了一回“猫咪管家”。这场家庭实验让我意识到:教机器人做事的方式,正在从写代码变成说话,而真正的机器人革命,或许会从最不起眼的玩具开始。

    来源 AI 科技快讯
  13. 宇树科技三年营收冲至16.99亿:人形收入占比51.78%首超四足

    2026 年 11 月发布的《宇树科技发展战略研究报告》,198 页,把宇树从四足到人形、从整机到组件的每条线拆成八个战略章节。最反常识的一组数字藏在收入结构里:2023 年 75.78% 的收入来自卖机器人组件,整机四足只占 17.09%;到 2025 年,人形 51.78%、四足 41.62%,组件只剩 6.19%

    来源 腾讯网
  14. 具身智能2026:融资从抢额度到出老股,行业圆桌谈商业化

    “具身智能,还能怎么聊?”这个问题从10月起在我的脑海徘徊,触发点是香港金融科技周活动方发来的圆桌邀约。按活动议程,这场由我担任主持人的圆桌,主题是“具身智能产业如何加速迭代升级”,嘉宾则分别来自赛特智能、灵心巧手与桥介数物。三家公司的业务分别为机器人、仿生灵巧手与机器人运动控制方案——恰好覆盖了具身...

    来源 腾讯网
  15. 金禄电子回应机器人PCB客户:保密不便披露,营收占比仍低

    有投资者向金禄电子(301282.SZ)提问,公司用于机器人模组的专用PCB主要供货给那几家头部机器人企业?预计后续规模占比有多少?11月12日,公司回答表示,鉴于客户保密要求,我们不便于披露客户具体名称,该业务目前营收占比较低,尚未对公司业绩构成重大影响。...

    来源 腾讯网
  16. 灵光连接器增至47项:接入微信ClawBot、QQ机器人等六大服务

    11月12日,灵光开放生态再次扩容,新增支持微信 ClawBot、QQ机器人、瑞幸咖啡、有道云笔记、滴答清单、腾讯新闻等六大连接器。连接器拓宽了灵光的能力边界,此次扩容让灵光的服务覆盖即时通讯、知识管理、任务协同等高频场景,外部连接服务增加到47项。 本次生态扩容后,灵光通过微信 ClawBot 和QQ机器人连接器,打

    来源 AI 开发者社区
  17. 贡嘎第五代人形机器人亮相成都:自研具身大脑,宣称全球领先

    IT之家 11 月 11 日消息,成都人形机器人创新中心今日发布了第五代贡嘎人形机器人,宣称拥有“全球最领先人形机器人大脑核心技术”。 作为成都人形机器人创新中心具身智能大脑技术的集大成之作,五代贡嘎搭载自研一体化具身智能系统,在场景感知、时空记忆、因果推理规划、动作世界模型等核心模块完成系统性迭代,宣称“代表当前全球

    来源 AI 行业观察
  18. 灵光连接器扩至47项:接入微信ClawBot、QQ机器人、瑞幸咖啡等

    11月12日,灵光开放生态再次扩容,新增支持微信 ClawBot、QQ机器人、瑞幸咖啡、有道云笔记、滴答清单、腾讯新闻等六大连接器。连接器拓宽了灵光的能力边界,此次扩容让灵光的服务覆盖即时通讯、知识管理、任务协同等高频场景,外部连接服务增加到47项。 本次生态扩容后,灵光通过微信 ClawBot 和QQ机器人连接器,打

    来源 AI 行业观察
向下滚动自动加载更多