上海交大机器人实验:单项技能会了,组合为何仅7.7%?
你可能以为,一个机械臂学会了十个单独的动作,自然就能把它们组合起来干一件更复杂的事。这个直觉其实大错特错。上海交通大学的研究团队做了一个实验,结果让人有点意外。他们先训练一个机器人模型学会各种独立的操作技能,比如开抽屉、拿东西、按按钮,然后让它去完成一些需要连续完成多个动作的复杂任务。结果显示,如果...
一个机械臂学会了十种单独动作,是不是就自然会把它们串起来干件更复杂的事?这个直觉靠不住。
上海交通大学的研究团队拿实验验证了这一点,结果有点出人意料。他们先把各种独立操作技能教给一个机器人模型——开抽屉、拿东西、按按钮都算,再让它去完成需要连续做多个动作的复杂任务。训练数据里含有完整组合示范时,机器人在“见过的组合”上成功率能到40%;一换成没见过的新组合,成功率立刻掉到7.7%。
问题不在学得好不好,而在于它根本没学会“组合”。它掌握的更像是背下来的套路,并没真正理解技能之间可以灵活拼接。
机器人能否把已学会的基本动作自行拼装起来完成新任务,而不必每种组合都重新教一遍——这是论文想弄明白的核心问题。
听着简单,可这背后藏着一个行业里长期被忽视的陷阱。
两条路线的分野:死记硬背还是真正理解
要让机器人完成“打开抽屉,然后把东西放进去,再关上抽屉”这样的连续任务,业内主要有两条路子。
第一条叫"
全指令路线
这条路胜在直接,训练数据给得越足,模型表现越好。麻烦也在这儿。论文作者做对照实验发现,这类模型在训练时见过的任务组合上成绩不错,能到40%
好比一个学生做数学题,每次见到的都是同一道题换个数字,他能考高分;换一道结构完全不同的新题,他就不会了。他记住的是题目的样子,不是解题的方法。不正视这个问题,只顾堆更多组合示范数据,模型确实能覆盖更多场景,可永远追不上现实世界里组合的无穷可能性——每一种排列组合都示范一遍,根本做不到。
第二条路线叫
分层子任务:不把长任务当成一句话硬塞给模型,而是先拆成一串已知的基本动作,比如“开抽屉”加“放东西”加“关抽屉”,再让机器人一步步执行,到合适的时机切换到下一个动作。
这条路吸引人的地方是,那些昂贵的“组合任务”示范数据完全不需要,只要机器人学会每个基本动作本身,剩下的交给一个调度机制去判断“现在该做哪个动作了”。听着很美好,但这篇论文最重要的发现之一就是,这条路也没想象中那么顺畅。
RoboCombine:一把测量组合能力的尺子
分层路线到底行不行?研究者需要一个干净的测试场地:训练阶段绝不能让模型看到任何完整的组合任务示范,只喂单独的基本动作数据,然后在测试阶段考它从没见过的组合。
这就是他们提出的 **ROBOCOMBINE** 基准。
ROBOCOMBINE 是一个用于考察机器人组合能力的测试平台。它的训练数据里只有孤立的基本动作轨迹;到了测试阶段,机器人要完成的是这些动作的新排列组合,组合任务的示范一个都不给。
仿真环境中,模型用 50 个基本动作训练,随后接受 19 种此前没见过的多阶段组合任务测试。真实机器人这边,训练了 16 个基本操作任务,测试的是 13 种真实世界组合任务。每个组合任务由两条按先后顺序排列的基本指令组成,例如“把杯子放在杯垫上,然后把面包放进篮子”。系统要记录两件事:机器人有没有按正确顺序完成两个阶段,以及两个阶段衔接处的表现如何。
论文设计了几个关键指标。
有序成功率
转换率
这套指标的设计用意,是把“整体任务失败”这样一个含糊的判断拆细:问题出在第一步没做成,还是第一步成了、第二步却接不上。
HSE:给失败做“CT扫描”的诊断框架
只靠测试平台并不够。研究者还得有工具来判断失败究竟卡在哪个环节,于是有了第二个核心贡献——**HSE 诊断框架**。
HSE(分层子任务执行)是一个与模型无关的执行框架。它把复杂任务的完成过程分成三块可独立控制的部分:子任务队列、切换信号,以及执行每个动作的策略模型。把其中两块固定住、只动第三块,研究者就能准确判断问题出在哪个环节。
具体来说,HSE定义了四种执行模式。第一种叫
这套设计的精妙之处在于对照实验的思路。比较
医生看诊也是这个道理,不能只说一句"他生病了",得分辨清楚是发烧惹的,还是感染惹的,又或者是免疫系统自己出了毛病。不做这种拆解,光盯整体任务的成功率,就永远不知道力气该往哪儿使。有团队发现组合任务失败率居高不下,却分不清问题出在决策环节还是执行环节,很可能把大批资源砸去优化任务规划算法,最后才发觉真正的瓶颈在底层动作执行上,时间白白耗掉。
关键发现:掉链子最多的地方,是接力棒交接那一刻
用HSE在ROBOCOMBINE上跑完一圈,研究者撞见了一个意外却又合理的现象:即便把标准答案般的任务顺序和切换时机直接喂给机器人(Oracle模式),不少模型照样完不成组合任务。症结不在"知不知道该做什么",而在"能不能真的做出来"。
论文用一张配对矩阵图做了细致分析。第一阶段任务完成率再高,也不代表第二阶段就能顺利接上。更有意思的是,这种衔接失败是"配对特定"的:同一个下游动作,接在不同的上游动作后面,成功率天差地别。比如同样是要完成"放药瓶",若前面接的是"放鼠标",研究者把这个问题命名为起始状态差距。
问题在于,大家长期以来默认一件事:每个基本动作练熟了,串起来就不会出岔子。这个假设如今被推翻了。每个动作在训练时,看到的都是"教科书式的完美开局";可到了真实的组合场景,它接手的是前一个动作随手留下的"歪歪扭扭的开局"。打个比方,短跑选手天天在起跑线上练百米,忽然让他从接力棒交到手里的那一刻起跑,姿势、步伐、反应都可能跟不上。跑得不慢,缺的是在"不完美的起点"上练习的经历。这个坎不迈过去,单项动作练到99%的完美,组合起来照样处处卡壳。卡住的地方不在单项能力,而在衔接处的适应性。
PRTI
找到病根之后,解决方案其实变得清晰起来:既然问题是模型没见过"不完美的开局",那就让它见识一下。研究者提出了
PRTI
这个方法的高明之处在于,它没有越过"只用单项动作数据训练"这条线。数据还是那些单项动作的轨迹,只是换了个截取和采样的角度,把末尾那些更接近真实衔接的状态挑出来反复练。训练时,标准开局的数据和"非标准开局"的数据按1比1混合,模型接收的仍然是单一动作的指令,组合任务的监督信号一概不碰。
拿外卖骑手打比方:公司原先只在平坦大马路上训练他骑车送餐,实际路线却常要穿过坑洼小巷和临时施工路段。与其让他在真实送餐中现学现卖,不如提前在模拟的颠簸路面上多练几圈。他学的还是"骑车送餐"这一件事,只是练习的起点更贴近真实情况。不这么做,骑手只在理想路况下熟练,碰上真实世界的意外就手忙脚乱。论文里只做"随机扰动"初始状态的对照实验,效果远不如它,说的正是这个道理。
数据说话:效果到底提升了多少
论文给出的数字很有说服力。在仿真环境的Oracle-HSE设置下,基础模型的
有个细节需要多说一句。"重置机械臂姿态"看着像条捷径:机械臂复位,起始状态不就标准了?可它恢复的只是机械臂本身的姿态,物体的位置、接触状态这些由前一个动作造成的真实变化,原封不动留在那里。PRTI表现更好,原因在于它让模型直接学会应对整个"烂摊子"场景,而非只解决其中一小块。何况在真实世界里,让机械臂复位本身就要多出一段运动,还可能把场景打乱,实际部署时这是要付代价的。
真实机器人实验的结果也支持这个判断。研究者用16个基本任务,在双臂机械人平台上训练,测试的是13个真实世界组合任务,步数从2步到5步不等。全指令微调在训练时见过的组合上还过得去,平均进度分数0.94;一旦碰上完全没见过的新组合,分数直接掉到接近0。分层执行加PRTI的方案,在全部19个任务上平均进度达到0.80,训练时见过的组合、部分重叠的新组合、完全陌生的新组合,表现都相当稳。
研究者还画出了机器人执行过程中进度预测模型打分的变化曲线。一个五步任务:先把柿子从中间盘子挪到右边盘子,再开抽屉、放柿子、关抽屉,最后按下停止按钮。可以看到,分数在每个阶段内逐步上升;系统一旦判定当前子任务完成、切到下一个,分数先回落再重新爬升,起起伏伏像心电图。这条曲线本身就是直观的证据:分层执行框架在实时追踪任务进展,不是按固定节奏盲目往前推。
这篇论文发表于2026年,距离
写在后面
读完论文,印象最深的其实不是PRTI本身。说实话,"拿已有数据的末尾段落做额外训练"算不上多新颖的技术发明。真正让人停下来想的是那个"配对矩阵"的实验设计:用近乎笨拙的穷举,把"哪个动作接哪个动作容易失败"摊开在桌面上给你看。
这种做法可贵的地方,是它不满足于一个笼统的成功率数字,偏要追问"到底是哪里不行"。这份较真,比论文提出的具体方法更值得学。一个领域常常不是缺聪明的解法,而是没人肯花时间把问题拆到足够细。
还有一点可以琢磨。论文提到,模型在"见过的组合"和"没见过的组合"之间差距明显,这暴露的其实是记忆与理解的边界。人类学技能也类似:真正会骑车的人,换辆车、换条路照样能骑;只记住"在这条路上、用这辆车怎么骑"的人,换个场景就露馅。机器人眼下遇到的,正是这种"记住了具体套路,没掌握可迁移能力"的尴尬。
那下一个问题就来了:起始状态的差距能用数据层面的技巧缓解,动作本身的因果逻辑又该怎么让机器人真正理解?比如"为什么要先开抽屉再放东西"这类常识性的先后关系,总不能一直靠一个外部任务分解模块硬性指定吧。
Q&A
机器人能不能把学过的动作自己拼起来,去完成一个从没见过的任务?上海交通大学团队为此搭建了一套基准测试平台,取名 ROBOCOMBINE。它的特别之处在于,训练阶段一个组合任务的示范数据都不给。
这套平台还盯上了一个容易被忽略的细节:训练单项动作时,机器人总是从标准、干净的初始状态开始练;可真到了组合任务里,这个动作往往得接着上一个动作留下的不完美状态往下做。模型没怎么见过这种开局,一做就容易失手。
Q2:
那 PRTI 方法又是怎么应对的?它从已有单项动作轨迹的后半段截取状态,这些状态更接近真实衔接时的场景,再把这些状态混进训练数据,让模型额外学会从非标准状态出发把任务做完。仿真测试中的结果如何,