上海交大机器人实验:单项技能会了,组合为何仅7.7%?

资讯 腾讯网 作者:科技行者 全文 4345 字 · 约 11 分钟读完 分类机器人学术研究

你可能以为,一个机械臂学会了十个单独的动作,自然就能把它们组合起来干一件更复杂的事。这个直觉其实大错特错。上海交通大学的研究团队做了一个实验,结果让人有点意外。他们先训练一个机器人模型学会各种独立的操作技能,比如开抽屉、拿东西、按按钮,然后让它去完成一些需要连续完成多个动作的复杂任务。结果显示,如果...

所属频道 机器人与具身智能前沿研究

一个机械臂学会了十种单独动作,是不是就自然会把它们串起来干件更复杂的事?这个直觉靠不住。

上海交通大学的研究团队拿实验验证了这一点,结果有点出人意料。他们先把各种独立操作技能教给一个机器人模型——开抽屉、拿东西、按按钮都算,再让它去完成需要连续做多个动作的复杂任务。训练数据里含有完整组合示范时,机器人在“见过的组合”上成功率能到40%;一换成没见过的新组合,成功率立刻掉到7.7%。

问题不在学得好不好,而在于它根本没学会“组合”。它掌握的更像是背下来的套路,并没真正理解技能之间可以灵活拼接。

机器人能否把已学会的基本动作自行拼装起来完成新任务,而不必每种组合都重新教一遍——这是论文想弄明白的核心问题。

听着简单,可这背后藏着一个行业里长期被忽视的陷阱。

两条路线的分野:死记硬背还是真正理解

要让机器人完成“打开抽屉,然后把东西放进去,再关上抽屉”这样的连续任务,业内主要有两条路子。

第一条叫"

全指令路线

这条路胜在直接,训练数据给得越足,模型表现越好。麻烦也在这儿。论文作者做对照实验发现,这类模型在训练时见过的任务组合上成绩不错,能到40%

好比一个学生做数学题,每次见到的都是同一道题换个数字,他能考高分;换一道结构完全不同的新题,他就不会了。他记住的是题目的样子,不是解题的方法。不正视这个问题,只顾堆更多组合示范数据,模型确实能覆盖更多场景,可永远追不上现实世界里组合的无穷可能性——每一种排列组合都示范一遍,根本做不到。

第二条路线叫

分层子任务:不把长任务当成一句话硬塞给模型,而是先拆成一串已知的基本动作,比如“开抽屉”加“放东西”加“关抽屉”,再让机器人一步步执行,到合适的时机切换到下一个动作。

这条路吸引人的地方是,那些昂贵的“组合任务”示范数据完全不需要,只要机器人学会每个基本动作本身,剩下的交给一个调度机制去判断“现在该做哪个动作了”。听着很美好,但这篇论文最重要的发现之一就是,这条路也没想象中那么顺畅。

RoboCombine:一把测量组合能力的尺子

分层路线到底行不行?研究者需要一个干净的测试场地:训练阶段绝不能让模型看到任何完整的组合任务示范,只喂单独的基本动作数据,然后在测试阶段考它从没见过的组合。

这就是他们提出的 **ROBOCOMBINE** 基准。

ROBOCOMBINE 是一个用于考察机器人组合能力的测试平台。它的训练数据里只有孤立的基本动作轨迹;到了测试阶段,机器人要完成的是这些动作的新排列组合,组合任务的示范一个都不给。

仿真环境中,模型用 50 个基本动作训练,随后接受 19 种此前没见过的多阶段组合任务测试。真实机器人这边,训练了 16 个基本操作任务,测试的是 13 种真实世界组合任务。每个组合任务由两条按先后顺序排列的基本指令组成,例如“把杯子放在杯垫上,然后把面包放进篮子”。系统要记录两件事:机器人有没有按正确顺序完成两个阶段,以及两个阶段衔接处的表现如何。

论文设计了几个关键指标。

有序成功率

转换率

这套指标的设计用意,是把“整体任务失败”这样一个含糊的判断拆细:问题出在第一步没做成,还是第一步成了、第二步却接不上。

HSE:给失败做“CT扫描”的诊断框架

只靠测试平台并不够。研究者还得有工具来判断失败究竟卡在哪个环节,于是有了第二个核心贡献——**HSE 诊断框架**。

HSE(分层子任务执行)是一个与模型无关的执行框架。它把复杂任务的完成过程分成三块可独立控制的部分:子任务队列、切换信号,以及执行每个动作的策略模型。把其中两块固定住、只动第三块,研究者就能准确判断问题出在哪个环节。

具体来说,HSE定义了四种执行模式。第一种叫

这套设计的精妙之处在于对照实验的思路。比较

医生看诊也是这个道理,不能只说一句"他生病了",得分辨清楚是发烧惹的,还是感染惹的,又或者是免疫系统自己出了毛病。不做这种拆解,光盯整体任务的成功率,就永远不知道力气该往哪儿使。有团队发现组合任务失败率居高不下,却分不清问题出在决策环节还是执行环节,很可能把大批资源砸去优化任务规划算法,最后才发觉真正的瓶颈在底层动作执行上,时间白白耗掉。

关键发现:掉链子最多的地方,是接力棒交接那一刻

用HSE在ROBOCOMBINE上跑完一圈,研究者撞见了一个意外却又合理的现象:即便把标准答案般的任务顺序和切换时机直接喂给机器人(Oracle模式),不少模型照样完不成组合任务。症结不在"知不知道该做什么",而在"能不能真的做出来"。

论文用一张配对矩阵图做了细致分析。第一阶段任务完成率再高,也不代表第二阶段就能顺利接上。更有意思的是,这种衔接失败是"配对特定"的:同一个下游动作,接在不同的上游动作后面,成功率天差地别。比如同样是要完成"放药瓶",若前面接的是"放鼠标",研究者把这个问题命名为起始状态差距。

问题在于,大家长期以来默认一件事:每个基本动作练熟了,串起来就不会出岔子。这个假设如今被推翻了。每个动作在训练时,看到的都是"教科书式的完美开局";可到了真实的组合场景,它接手的是前一个动作随手留下的"歪歪扭扭的开局"。打个比方,短跑选手天天在起跑线上练百米,忽然让他从接力棒交到手里的那一刻起跑,姿势、步伐、反应都可能跟不上。跑得不慢,缺的是在"不完美的起点"上练习的经历。这个坎不迈过去,单项动作练到99%的完美,组合起来照样处处卡壳。卡住的地方不在单项能力,而在衔接处的适应性。

PRTI

找到病根之后,解决方案其实变得清晰起来:既然问题是模型没见过"不完美的开局",那就让它见识一下。研究者提出了

PRTI

这个方法的高明之处在于,它没有越过"只用单项动作数据训练"这条线。数据还是那些单项动作的轨迹,只是换了个截取和采样的角度,把末尾那些更接近真实衔接的状态挑出来反复练。训练时,标准开局的数据和"非标准开局"的数据按1比1混合,模型接收的仍然是单一动作的指令,组合任务的监督信号一概不碰。

拿外卖骑手打比方:公司原先只在平坦大马路上训练他骑车送餐,实际路线却常要穿过坑洼小巷和临时施工路段。与其让他在真实送餐中现学现卖,不如提前在模拟的颠簸路面上多练几圈。他学的还是"骑车送餐"这一件事,只是练习的起点更贴近真实情况。不这么做,骑手只在理想路况下熟练,碰上真实世界的意外就手忙脚乱。论文里只做"随机扰动"初始状态的对照实验,效果远不如它,说的正是这个道理。

数据说话:效果到底提升了多少

论文给出的数字很有说服力。在仿真环境的Oracle-HSE设置下,基础模型的

有个细节需要多说一句。"重置机械臂姿态"看着像条捷径:机械臂复位,起始状态不就标准了?可它恢复的只是机械臂本身的姿态,物体的位置、接触状态这些由前一个动作造成的真实变化,原封不动留在那里。PRTI表现更好,原因在于它让模型直接学会应对整个"烂摊子"场景,而非只解决其中一小块。何况在真实世界里,让机械臂复位本身就要多出一段运动,还可能把场景打乱,实际部署时这是要付代价的。

真实机器人实验的结果也支持这个判断。研究者用16个基本任务,在双臂机械人平台上训练,测试的是13个真实世界组合任务,步数从2步到5步不等。全指令微调在训练时见过的组合上还过得去,平均进度分数0.94;一旦碰上完全没见过的新组合,分数直接掉到接近0。分层执行加PRTI的方案,在全部19个任务上平均进度达到0.80,训练时见过的组合、部分重叠的新组合、完全陌生的新组合,表现都相当稳。

研究者还画出了机器人执行过程中进度预测模型打分的变化曲线。一个五步任务:先把柿子从中间盘子挪到右边盘子,再开抽屉、放柿子、关抽屉,最后按下停止按钮。可以看到,分数在每个阶段内逐步上升;系统一旦判定当前子任务完成、切到下一个,分数先回落再重新爬升,起起伏伏像心电图。这条曲线本身就是直观的证据:分层执行框架在实时追踪任务进展,不是按固定节奏盲目往前推。

这篇论文发表于2026年,距离

写在后面

读完论文,印象最深的其实不是PRTI本身。说实话,"拿已有数据的末尾段落做额外训练"算不上多新颖的技术发明。真正让人停下来想的是那个"配对矩阵"的实验设计:用近乎笨拙的穷举,把"哪个动作接哪个动作容易失败"摊开在桌面上给你看。

这种做法可贵的地方,是它不满足于一个笼统的成功率数字,偏要追问"到底是哪里不行"。这份较真,比论文提出的具体方法更值得学。一个领域常常不是缺聪明的解法,而是没人肯花时间把问题拆到足够细。

还有一点可以琢磨。论文提到,模型在"见过的组合"和"没见过的组合"之间差距明显,这暴露的其实是记忆与理解的边界。人类学技能也类似:真正会骑车的人,换辆车、换条路照样能骑;只记住"在这条路上、用这辆车怎么骑"的人,换个场景就露馅。机器人眼下遇到的,正是这种"记住了具体套路,没掌握可迁移能力"的尴尬。

那下一个问题就来了:起始状态的差距能用数据层面的技巧缓解,动作本身的因果逻辑又该怎么让机器人真正理解?比如"为什么要先开抽屉再放东西"这类常识性的先后关系,总不能一直靠一个外部任务分解模块硬性指定吧。

Q&A

机器人能不能把学过的动作自己拼起来,去完成一个从没见过的任务?上海交通大学团队为此搭建了一套基准测试平台,取名 ROBOCOMBINE。它的特别之处在于,训练阶段一个组合任务的示范数据都不给。

这套平台还盯上了一个容易被忽略的细节:训练单项动作时,机器人总是从标准、干净的初始状态开始练;可真到了组合任务里,这个动作往往得接着上一个动作留下的不完美状态往下做。模型没怎么见过这种开局,一做就容易失手。

Q2:

那 PRTI 方法又是怎么应对的?它从已有单项动作轨迹的后半段截取状态,这些状态更接近真实衔接时的场景,再把这些状态混进训练数据,让模型额外学会从非标准状态出发把任务做完。仿真测试中的结果如何,

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI解散机器人团队

    据科创板日报援引媒体报道称,OpenAI已解散其独立机器人团队,将团队研究人员重新分配至其他部门。一位OpenAI发言人表示,此举并不意味着公司退出机器人领域,机器人技术仍然是OpenAI长期愿景的核心组成部分。OpenAI原机器人研究团队已被并入公司的核心研究团队,向首席研究官Mark Chen汇报;而应用机器人团队

    来源 腾讯网
  2. 黄仁勋被曝考虑重掌英伟达,苹果智能眼镜明年亮相

    曝黄仁勋考虑重返英伟达担任 CEO,盟友正施压董事会据英国《金融时报》周日报道,黄仁勋正考虑重返英伟达担任首席执行官。如今他在硅谷的多位盟友正向英伟达董事会施压,要求公司重新任命他。报道称,黄仁勋已经和亲信讨论了重返公司的可能性。与此同时,英伟达董事会还在开展独立调查。一位黄仁勋的盟友表示,他们正在组建...

    来源 腾讯网
  3. OpenAI机器人团队再解散:奥特曼招人五个月后,原班人马并入核心研究

    新智元报道 难以置信,OpenAI居然把自家的机器人团队,一锅端了!据报道,OpenAI又一次解散了机器人团队,距离奥特曼5月亲自发帖招人仅过去五个月。原来的团队,将并入核心研究团队,向Mark Chen汇报。而应用机器人和硬件团队,则由OpenAI总裁Greg Brockman负责。超级智能把机器人团队饭碗端了这几天

    来源 腾讯网
  4. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  5. 英伟达机器人学习工程师戴士钦宣布辞职:“黄仁勋离职让我格外失望”

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。 戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这

    来源 AI 行业观察
  6. 机器人进退货仓:双臂开始抓衣服,森马天猫退货率51.70%

    (本文作者为 具身志,钛媒体经授权发布)文 | 具身志双11结束了,有些订单已经签收了,有些已经开始往回寄了。对消费者来说,消费者只需要在手机上申请退货,把包裹交给快递员,这笔订单已经结束。但对商家来说,后面的工作才刚刚开始。以衣服为例,那些退回来的包裹,要被送进仓库,经过核对、质检、分类、整理,再重新进...

    来源 腾讯网
  7. SpaceX机械臂空中接住星舰飞船,万亿估值叙事补上关键一环

    SpaceX首次成功用发射塔机械臂在空中接住星舰(Starship)的上级飞船,这是全球航天史上第一次从轨道返回的飞船被塔架“夹”住回收,也让马斯克公司距离“快速复用”的目标近了一大步,而分析师认为,这正是支撑其数万亿美元估值叙事的关键一环。北京时间11月15日周日,星舰上级在完成14圈绕地飞行后重返大气层,被得克萨斯

    来源 腾讯网
  8. 南开大学综述:AI做研究,三项决策权在谁手里?

    新智元报道 你让AI自动设计一种新的推理算法:它能读论文、写代码、跑实验,还能根据结果不断修改方案。看起来,整个研究过程已经交给了AI。但如果研究问题由人类提出、允许修改的范围由人类划定、判断成功的标准也由人类设定,那么AI真正掌握了多少研究决策?它是在替人做实验,还是已经开始决定如何做研究?最近,南开大...

    来源 腾讯网
  9. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  10. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  11. 机器人学会新技能就忘旧活:英伟达和KAIST提出ACCRUE

    你有没有遇到过这种情况:学会了一门新语言之后,突然发现以前学的那门外语变得生疏了?大脑好像在给旧知识腾地方,新东西进来了,老东西就被挤到角落里蒙了灰。机器人也有同样的烦恼,而且更严重。想象一个在工厂里工作的机械臂,它先学会了拧螺母,表现得不错。过了一个月,工厂来了新订单,需要它学会插销钉。于是工程师...

    来源 腾讯网
  12. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  13. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  14. 多机器人协作如何识别说谎者:杜克大学NeST-Bayes方案解析

    2024年,有研究者做过一个让人后背发凉的实验:在一个多机器人协同系统里,只要有五分之一的机器人开始撒谎,整个系统的判断准确率就会断崖式下跌。更麻烦的是,你根本不知道是哪几个在撒谎。这就是多机器人系统面临的一个核心难题。多台机器人一起执行任务,比如仓库巡检、灾区搜救、战场侦察,它们靠互相分享观察到的信息...

    来源 腾讯网
  15. GreenWAM:一套模型管20种机器人,Sber新研究把动作空间拧成79槽

    你有没有想过一个问题:如果你买了一台机器人,想让它学会叠衣服,它需要知道什么?大多数人的第一反应是,它需要会动手,会抓、会放、会转腕子。但真正有经验的机器人研究者会告诉你,光会动手不够。它还得知道,如果我这样动手,接下来会发生什么。衣服会不会滑下去,手会不会碰到桌角,叠好的角会不会歪。这其实是两件事...

    来源 腾讯网
  16. Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

    来源 AI 行业观察
  17. 退货仓里的机器人:从搬箱子到直接分拣衣服

    双11结束了,退货仓里的忙碌才刚刚开始。过去,自动化设备已经接手了不少工作。如今,双臂机器人又开始直接抓取、识别和分拣退回来的商品。一场围绕退货处理的人机分工变化,正在仓库里发生。

    来源 AI 行业观察
向下滚动自动加载更多