港中文团队Orchestra:机器人执行长指令,难点不在动作生成
你有没有想过,如果让一个机器人去厨房帮你准备早餐,它需要做哪几件事?拿面包,放进烤面包机,等烤好,再放到盘子里。听起来简单到不值一提,对吧?但如果你把这个任务拆开仔细看,会发现里面藏着一个大坑:机器人得知道自己做到了第几步,得记住哪些东西已经处理过了,还得在场景变化之后依然认得出面包在哪儿、盘子在哪...
假如让一台机器人进厨房帮你做早餐,它得完成哪些步骤?
取面包、塞进烤面包机、等烤好、再装盘。听着简单得没什么可说,对吧?可一旦把这件事拆细,麻烦就出来了:机器人要清楚自己进行到哪一步,要记得哪些东西已经处理过,还得在场景变动之后照样找得到面包和盘子在哪。
香港中文大学团队的这篇论文,盯的正是这个看似简单、却长期没人细究的问题。他们给系统取了个颇有诗意的名字,叫**问题到底难在哪**
先说明一点:眼下机器人的"大脑",专业叫法是VLA模型,本事已经相当强了。像问题卡在"连续"二字上。现实里没人只让机器人干一件事。你会说"把编号1、2、3的牌子按3、1、2的顺序摆到蓝色垫子上",或者说"把图里这几样东西统统丢进垃圾桶"。这类指令里包含先后次序、包含反复判断、也包含对场景变化的持续跟踪。第一步做完,桌面已经和刚才不一样了,机器人得知道接下来该做哪件,既不能重复刚做完的那步,也不能漏掉某步没做就往下走。论文引用了一个颇为扎心的数据作参照:
**
这正是论文开篇抛出的系统级问题:一个动作策略,怎样才能执行完一整条跨越很长交互序列的用户指令?只把动作生成能力做强,解决不了它。
办法是**把"想"和"做"分开**。
Orchestra具体看,系统分两大块。一块管"构思":接到用户的完整指令后,由负责任务编排的智能体把它拆成一串有先后的子任务,并标出每个子任务牵涉哪些物体。另一块管"实现":动作策略模型按照当前子任务生成具体动作,同时另一个单独训练的这两块共用一样东西,叫做"共享上下文"。
**
不妨把这个共享上下文想成项目经理桌上常年摆着的那块白板。板上写着"眼下做到第几步"、"这步要用的东西在哪儿"、"刚才发生了什么"。干活的人不必自己记,抬眼看看板就行;判断进度的人也不用猜,照着板上的记录看即可。要是没有这块板呢?那就成了各人凭各自记忆办事,很快会乱成一团:有人以为还在第一步,有人已经悄悄摸到第三步。论文的消融实验印证了它的分量:拿掉任务编排模块,平均连续完成子任务数(
7.35和1.502之间的差距,值得停下来咂摸一下。这已经不能算性能打折扣,而是从"能完整跑完一长串指令"退化成"刚起步就卡死"。
**物体会跑,记忆得跟着跑**。只知道"现在做第几步"还不够,机器人还得清楚"要动的东西此刻在哪儿"。桌上的面包被拿走后,原位就空了,若还按旧坐标去抓,必然抓空。论文用两个视觉模型处理这件事,一个叫
**
,再拿这个点做更精细的轮廓分割。整个流程是:每次切到新子任务,就重新用
这个设计针对的,说到底就是"信息会过期"。倘若拿任务刚开始时拍的那张照片去定位物体,等动作执行了十几步,那张照片早就不准了。好比你出门前瞄了一眼手机地图上的路况,可堵车信息随时在变,走到一半还死守出发前那张截图,很可能一头扎进刚刚形成的拥堵里。消融实验显示,去掉这套空间定位机制,平均ASL从7.35跌到5.814,降幅20.9%;在视觉更复杂的任务上(比如"遮盖和揭开方块")尤其明显,从5.82直接掉到2.81。
**短期记忆:让机器人"记住刚刚发生的事"**。还有个细节容易被忽略:机器人只看当前这一帧画面,有时并不够。论文给动作策略加了短时间窗口的视觉记忆,技术上称为时空分离注意力
**
每个摄像头会取最近6帧画面,帧与帧之间按隔3帧的间隔采样,再把这几个画面放在一起理解当下的动态场景,而不是只盯住某一瞬间的静态画面。
这就像看一场正在进行的篮球赛,只给你一张定格照片,你根本分不清球是正飞向篮筐,还是刚被扔出去。得连着看几帧,才能判断运动方向和速度。机器人去抓一个正在被推、或者正在倒的物体时,同样需要这种连续感。要是抽掉这段短期记忆会怎样?实验数据很直接:去掉之后,平均ASL从7.35掉到2.5,降了66%;在"按按钮"任务上更是从5.79跌到1.28。不过论文也特别说明,这套机制并没有增加传给语言模型的视觉信息量,256个视觉token和单帧版本一模一样,多出来的计算都花在视觉编码器内部的时序融合上了。
接下来要解决的问题是:怎么判断该不该换下一步。
到这时,系统已经知道该做什么、东西在哪儿、刚刚发生了什么,还差最后一环——判断这一步有没有做完,什么时候切到下一步。
这件事交给一个单独训练的"进度评估器":它跟动作生成模型完全独立、单独训练,专门判断当前子任务的完成进度,输出11个离散等级的分类结果,用来决定何时切换到下一个子任务。
这个设计的关键,是把"判断完成"从动作生成模型里拆出来单独训练。原因在于,动作生成要回答的是"怎么把手移到正确位置",完成判断要回答的是"这件事到底完没完",两种能力性质不同,混在一起练反而互相干扰。论文做了一个对照实验:用模拟器里直接读取的真实状态(也就是"上帝视角"的标准答案)替换学出来的评估器,结果平均ASL只有7.374,跟学出来的评估器的7.35几乎没有差别。也就是说,这个独立训练出来的进度判断能力,已经逼近理论上的上限。
训练评估器用的标签也挺巧,不用人工去标"这一帧是不是完成了",而是拿演示数据里每一帧在整个子任务时间段中的相对位置,自动生成进度标签——越靠近子任务结束的帧,进度值越高。研究团队还专门查了演示数据里"已经完成"状态那段画面,大约占整个子任务时长的9%到11%,这个比例正好落在他们设定的终止类别判定边界之内,说明自动标注这套逻辑站得住。
下面要看的是考验机器人的新考场。
论文的另一个重要贡献,是一个新的评测基准,叫RMBench-Compose。现有的RMBench里,每个任务的指令和执行顺序都是固定模板;真实世界里,指令的长度和顺序却千变万化。RMBench-Compose改造了五个仿真环境(按按钮、捡物体、遮盖揭开方块、交换方块、把方块放到垫子上),让系统能生成长度和顺序都可变的任务组合,专门检验一件事:机器人只用短小的单步任务训练过,能不能应付长达十几步的组合任务。
这个设计其实是在模拟一种常见的现实落差。培训新员工时,往往是一个任务一个任务单独教,可上岗之后,面对的是一整天连续不断、顺序复杂的工作安排。只在"单项技能达标"这一层考核,根本看不出这个人能不能真正胜任连续工作。论文的数据也印证了落差有多大:基础版的
而完整的
实验结果很能说明问题。
把这些设计拼到一起后,论文在三个战场上做了检验。
在RMBench这个标准基准上,Orchestra拿到68.22%的平均成功率,比此前最好的
| 方法类型 | 代表方法 | RMBench平均成功率 |
|---|---|---|
| 基础策略 | π0.5 | 10.44% |
| 双系统记忆模型 | Mem-0 | 42.00% |
| 端到端记忆模型 |
| 智能体系统 |
| 智能体系统 | **Orchestra** | **68.22%** |
在RMBench-Compose上,Orchestra的平均ASL达到7.35个子任务,是对比方法HarnessVLA(2.99)的2.46倍。论文还做了一个很细的对照,把Orchestra的任务编排智能体从默认的
真实机器人实验是这篇论文里我最在意的部分,毕竟仿真环境终究偏理想化。研究团队用双臂机器人平台测了四个真实场景任务——早餐准备、水果摆盘、数字排序、垃圾桶放置,每个任务跑20次。结果显示,跟用基础π0.5策略的Orchestra版本相比,完整版把平均ASL从2.20提到2.75,提升25%。水果摆盘任务的子任务成功率从77.36%跳到91.22%,提升最明显。
失败确实出现了,可问题究竟出在哪一环
这篇论文有一处做法很让人认可:失败案例没有被绕开,作者反而单独做了一轮失败分析,把65个真实世界里的失败样本逐一追下来,再按五个环节归类统计。
统计结果有些出人意料。占比排在第一的失败原因,既不是任务编排出了差错,也不是物体没定位准,更不是进度判断失误,而是动作执行本身,占了87.7%。其余几项里,进度估计失败为6.1%,物体定位失败为4.6%,任务编排失败为1.5%,图像分割失败在这一轮统计中是0%。
这组分布说明的事挺关键:论文处理的是“管理”这一层的问题,也就是让机器人清楚该做什么、按什么次序做、到什么时候切换。至于“手够不够稳”,属于底层的运动控制,这套框架并没有碰,而这恰恰是眼下最大的瓶颈。论文举的例子都很具体:叉子放的时候偏离了预定的方格支架,抓瓶子姿势不对,抓苹果时不小心把苹果碰飞,放数字牌时牌子倒了。这些都属于手眼协调的精细活,不是靠“知道该干什么”就能解决的。
这背后其实对应着一个更大的行业现实。管理和执行是两种能力:一个出色的项目调度系统能把团队协作效率抬上去,可要是团队里每个人手上的业务能力本身有短板,调度做得再好也补不上那块缺口。Orchestra做的是前一件事;后一件事,也就是动作本身的精度,还得靠更强的底层控制模型去啃。
Q&A
Q1:Orchestra核心解决的是什么问题?
A:机器人执行多步骤指令时,容易出现顺序混乱、物体定位失效,Orchestra针对的正是这些。它的做法是把任务规划和动作生成拆成两个独立系统,让机器人在长序列任务中保持正确的操作顺序,同时持续追踪目标物体的位置变化。
Q2:跟此前的记忆增强方法Mem-0比,Orchestra的优势体现在哪?
A:RMBench基准测试里,Orchestra的平均成功率达到68.22%,Mem-0是42%,前者高出26.22个百分点。两者的核心区别在于,Orchestra靠独立的任务编排智能体和进度评估器来管理子任务切换,而不是只依赖记忆模块。
Q3:RMBench-Compose基准测试的用途是什么?
A:RMBench-Compose是论文新提出的测试基准,用来检验一件事:机器人系统只用短小的单步任务训练过之后,能不能应付长达十几个子任务的复杂组合指令。它衡量的是从单项技能到连续执行能力之间的落差。