让机器人学会“边走边干活”：MM-ABC如何解决移动操作的两大难题

你有没有想过一个问题：为什么家里的扫地机器人只能扫地，却没法帮你把桌上的水杯拿到厨房去？

答案其实很简单。扫地机器人只需要在平面上移动，而"拿水杯去厨房"这件事，需要机器人先走到桌子旁边，伸手抓起水杯，然后再移动到厨房，最后把水杯放下。这中间涉及的不只是移动，还有手臂的精细操作，而且移动和操作必须配合得天衣无缝，走错了位置手就够不着，手没抓稳走动起来就会洒。

这就是移动操作机器人面临的核心挑战。一群来自香港科技大学（广州）、清华大学等机构的研究者,在他们的新论文里提出了一个叫MM-ABC的系统,试图把这件事做得更好。这篇论文里藏着不少有意思的设计思路,值得好好聊聊。

机器人世界的"活动范围"难题

传统的机械臂有个天生的限制:它只能伸到自己手臂能够到的地方。如果你让它拿一个够不着的东西,它再聪明也没用。

移动底盘的出现改变了这件事。研究者在论文里提出了一个挺有意思的视角:移动操作不是"先导航再操作"这两件事的简单拼接,而是机器人自己在控制一个可以变化的"可达范围"。换句话说,机器人的工作空间不再是固定的,而是它自己想办法扩展出来的。

这个视角转变带来了两个具体的技术难题。

第一个难题是空间感知会变得动态。机器人一边移动一边看东西,视角在不停变化,但它还得精确判断自己、目标物体和周围环境之间的相对位置关系。

打个比方,这就像你蒙着半只眼睛在一个陌生房间里找钥匙,还得一边走一边记住钥匙相对于门、相对于桌子的位置变化。如果你站着不动,这件事很简单。但一旦你开始走动,所有参照物在你眼里的相对位置都在变,大脑得不停地重新校准。如果机器人没有专门针对这种动态变化设计感知机制，它可能在移动中途突然"不认识"刚才看到的目标了,伸手抓空。

第二个难题是手臂和底盘的协调。底盘负责大范围移动,手臂负责精细操作,两者的动态特性和时间节奏完全不同,但又紧密相关:底盘走到哪决定了手臂能不能够到,而手臂想做什么又决定了底盘该停在哪个位置。

现有的很多研究已经意识到要把移动和操作分开处理,用不同的"数据流"来处理。但研究者们指出了一个容易被忽视的问题:分开处理不等于能配合好。

动作预测：预测"干净的终点"还是预测"变化的速度"

这篇论文里有一段很硬核的技术讨论,围绕着一个听起来很细节、但其实影响很大的设计选择:机器人在生成动作时,应该让神经网络预测"最终要达到的清晰动作"，还是预测"从噪声到动作之间的变化速度"？

这个问题的背景是这样的。现在很多机器人动作生成用的是一种叫"流匹配"的技术。

流匹配:一种生成模型方法,通过学习如何把随机噪声逐步转化为目标数据(比如一段机器人动作轨迹)来实现生成,整个过程就像是给一团乱麻慢慢梳理出一条清晰的路径。

在这个框架下，网络可以选择直接预测"梳理好之后的最终动作"（这叫x-prediction，清晰动作预测），也可以预测"每一步梳理的方向和速度"（这叫v-prediction，速度预测）。数学上这两者是可以互相换算的，理论上等价。但研究者发现，在实际工程里，这两种选择对网络的"负担"完全不同。

速度预测的网络得把输入里混杂的随机噪声方向记住，并且在计算中把它抵消掉，才能算出最终动作。而清晰动作预测直接朝着"动作应该长什么样"这个目标走，不需要绕这个弯。

研究者为了验证这个直觉，设计了一个数据生成规律完全已知的合成实验。他们发现，在噪声很大的早期阶段，清晰动作预测保留的噪声方差比速度预测低了23倍。用五步采样（也就是机器人实际部署时用的采样步数）生成动作时，清晰动作预测的任务分配误差比速度预测低了14%。

这组数据背后藏着一个朴素的道理。如果你让一个人从一团乱麻里直接抽出目标线头，他只需要盯着终点；但如果你让他记录每一步手该往哪个方向用多大力气，他的脑子里得同时装着"现在在哪"和"该往哪走"两份信息，稍有偏差就容易越拖越乱。机械臂的动作预测网络容量有限，这两份信息同时装着，确实会相互干扰。如果不采用清晰动作预测，而是坚持用速度预测，论文的消融实验显示，在RoboCasa365基准测试的复合任务上，成功率会从32.8%直接掉到29.2%，掉了3.6个百分点。

这组实验结果直接决定了MM-ABC里动作生成模块的设计方向，论文把这个模块叫做MM-APT（移动操作动作预测Transformer）。

看得更深:多层次视觉特征和"面向未来"的训练

除了动作预测方式的选择，MM-ABC还解决了"看"的问题。

机器人靠一个视觉语言模型（VLM）来理解图像和指令。

VLM:全称Vision-Language Model，一种同时处理图片和文字的人工智能模型，能够理解图像内容并结合语言指令做出判断，类似于一个既会看图又会读文字说明的大脑。

通常做法是只用VLM最后一层的输出特征来指导动作生成，因为最后一层往往是语义信息最集中的地方。但研究者发现，这种做法会把两种不同的需求压缩进同一个表示里:既要识别"这是什么任务"，又要判断"精确的几何关系是什么"。这两种需求对特征的要求其实不太一样。

如果只看最后一层，就像你让一个翻译只读文章的结论段落，指望他既能概括全文大意，又能复述出每一句的精确用词。这事能做，但做得不会太好。于是研究者选择从VLM的多个中间层抽取特征，分别注入到动作生成网络里，但只挑了四层，而不是把每一层都接进去。如果把每一层特征都接进去，虽然信息更全，但也会给后续处理模块带来太多需要调和的接口，训练起来反而更难收敛。论文把这个机制叫作DeepStack稀疏注入，并且用了"零初始化门控"的技巧，让新加入的中间层特征一开始几乎不起作用，训练过程中慢慢学会该用多少。

除了"看现在"，MM-ABC还加了一个很有意思的"想象未来"机制。

论文设计了一个训练时才用、部署时就扔掉的"未来专家"模块，它的任务是根据当前观察，预测32步和64步之后场景的几何特征会是什么样子。这些目标特征不是随便定义的，而是来自一个专门做三维几何理解的冻结教师模型VGGT-Ω。

这个设计的逻辑是这样的:一个正在伸手去够门把手的机器人，光知道"门把手现在长什么样"是不够的，它还得隐约知道"手和门把手接下来会怎么靠近"。这种对未来几何变化的预判能力，没法只靠当前这一帧画面学到，得靠额外的监督信号去逼着网络学。

这就像学开车时教练反复强调"要预判前车刹车"，而不是只盯着前车现在的位置。如果只训练网络识别"现在的画面"，而不给它任何关于"接下来会怎样"的训练信号，网络很可能学会的只是静态识别，而不是动态预判。消融实验证明了这一点:去掉这个未来监督分支后，成功率从32.8%掉到24.9%，足足掉了7.9个百分点，这是论文所有消融实验里降幅最大的一项。

有意思的是，这个"未来专家"模块在部署阶段完全不参与实际推理，它只在训练时存在，用来反向优化共享的视觉表示，让这个表示本身变得更擅长捕捉几何变化趋势。这种"训练时用、部署时扔"的设计思路，论文里专门强调了一句:不会增加实际运行时的计算开销。

两条腿走路：手臂和底盘怎么商量着来

解决了"看"的问题，接下来要解决"协调"的问题。

MM-ABC里设计了一个叫MM-APT的结构，让手臂动作和底盘动作各自保持独立的网络参数（因为它们的物理特性完全不同），但又通过一种叫"联合掩码注意力"的机制让两者可以互相"看一眼"对方在做什么。

注意力机制:一种让神经网络在处理信息时，自动判断"该重点关注哪部分内容"的技术，有点像人在读一段文字时，视线会自然聚焦在关键词上而跳过无关的虚词。

这里还有个更细的设计:动作序列被分成"近期"和"远期"两段，近期对应接下来马上要执行的32步动作，远期对应之后的32步。规则是，远期的动作可以参考近期的信息来调整自己的规划，但近期的动作不能被远期的规划影响。

这个单向限制听起来有点反直觉，为什么不让两段互相参考？研究者给出的解释是，近期动作必须立刻执行，不能被还没发生的、带有不确定性的远期规划干扰；而远期动作本来就是用来提前布局的，参考眼前的情况反而能让规划更靠谱。

这就好比你正在过马路，这一步该往哪踩必须基于眼前的车流做决定，不能因为你脑子里有个"等下要去便利店买水"的远期计划就分心。但你脑子里那个"等下去便利店"的计划，倒是可以参考你现在正在走的这条路线来调整，比如发现这条路正好经过便利店门口，计划就可以顺势微调。如果让近期动作也去参考远期规划，机器人可能会为了配合一个还不确定能不能实现的未来安排，而在当下做出犹豫不决的动作，这在需要即时反应的物理交互里是很危险的。

5000多小时的"喂养"：数据从哪里来

一个模型再精巧，没有足够多样的数据喂养也白搭。

研究团队构建了一个规模相当可观的预训练数据集，总计超过5000小时，来自12个数据集、51个子集、17种不同的机器人形态，囊括了超过40万条演示轨迹和6万5千多条独特的自然语言指令。

这里面真实机器人数据占80%，仿真数据占20%。能做移动操作的平台贡献了大约61%的数据量，其中有1371.7小时（占总量26.6%）是既保留了底盘控制通道、又确实包含明显底盘移动的数据，这部分是训练移动操作能力的核心燃料。

除了整合现有的公开数据集（比如ABC-130k、AgiBotWorld、DROID等十几个来源），研究团队还自己采集了一个叫MM-30的真实世界移动操作数据集，用的硬件是HexFellow Trigger-A3全向移动底盘加两只AgileX PiPER-X六自由度机械臂，覆盖了40多种任务，超过30小时的演示，涉及450多种物体，场景横跨阳台、客厅、厨房、办公室、工业实验室、化学实验室等9类环境。

面对这么多种不同形态的机器人（有单臂的、双臂的、带轮子的、带腿的、甚至手持UMI设备采集的数据），研究团队设计了一个80维的统一动作空间，把不同机器人的控制信号都映射进这个固定格式里，用掩码标记哪些维度对当前这台机器人是有效的。这就像给来自世界各地、说着不同方言的工人们发一本统一的操作手册，手册里的每一条指令都标注清楚"这条规则对哪种工种适用"，不适用的部分直接划掉不用管。如果不这样统一处理，每新增一种机器人形态，整个训练流程可能都要重新设计一遍，这个数据工程的扩展性会非常差。

为了保证数据质量，论文还详细描述了一套四级过滤流程，从检查基本的数据完整性，到物理合理性校验（比如末端执行器速度是否超出物理极限、夹爪是否异常频繁切换），再到时间戳连续性检查，最后评估整段轨迹是否包含足够的有效运动而不是机器人大部分时间静止不动。

实测效果：数字说话

说了这么多设计思路，最终还是要看实际表现。

在EBench这个专门评测通用移动操作能力的基准上，MM-ABC拿到了44.71%的成功率，比当时最强的对比方法π0.5高出3.30个百分点。在进度评分上也拿到了59分，比π0.5的54分高出5分。

在RoboCasa365这个覆盖原子任务和复合任务的家居场景基准上，MM-ABC的整体加权平均成功率达到61.2%，比次强的ABot-M0.5高出7.0个百分点。特别值得一提的是，在复合任务（也就是需要底盘和手臂配合多个连续动作的任务）上，MM-ABC的领先优势最明显，这恰好印证了论文反复强调的协调能力确实起了作用。

在ManiSkill-HAB这个更偏重底层抓取能力的基准上，MM-ABC在三个子任务套件（SetTable、TidyHouse、PrepareGroceries）上都拿到了当时最高的平均成功率，分别是86.4%、70.2%和65.6%。

在偏向固定底座精细操作的LIBERO基准上，MM-ABC拿到99.1%的平均成功率，证明这套架构不是只擅长移动操作，固定底座场景同样能打。更有意思的是，当研究者把这个在LIBERO上训练好的模型，直接拿到加入了各种扰动（摄像头角度变化、光照变化、背景噪声等）的LIBERO-Plus上测试，没有做任何额外训练，成功率依然达到82.8%，超过了一些专门针对扰动场景额外训练过的对比方法。

真实机器人的测试更能说明问题。研究团队在生日派对布置、办公文件整理、厨房操作、工业零件分拣、化学实验操作这五类真实任务上，对比了MM-ABC、π0.5和StarVLA-GR00T三个系统，每个任务跑20次试验。MM-ABC的平均成功率是83%，比π0.5高出12个百分点，比StarVLA-GR00T高出29个百分点。差距最大的是厨房操作和化学实验操作，这两类任务都需要底盘移动和倒液体、关柜门、搅拌这类精细动作紧密配合，MM-ABC在这两项上都领先π0.5整整20个百分点。

写在后面

读完这篇论文，有个细节让我印象很深。研究者没有满足于"分开处理移动和操作"这个已经被很多前人验证有效的思路，而是进一步追问了一句：分开之后呢，这两股数据流该怎么说话？

这种追问方式本身挺值得玩味的。很多时候一个领域里大家都接受了某个共识（比如"要分流处理"），但很少有人回头去问这个共识背后还藏着什么没解决的问题。论文里那个关于"清晰动作预测比速度预测更适合多流网络"的合成实验设计得挺巧妙，用一个几何结构完全已知、可以算出理论最优解的玩具任务，去验证一个原本只能靠直觉判断的架构选择，这种做研究的方式本身比结论更值得学习。

还有一点值得琢磨。论文反复强调"训练时用、部署时扔"的未来预测分支不增加推理成本，这种设计思路其实在提醒我们：有些能力的获得不一定需要在最终产品里背着一个沉重的模块，训练阶段多花点力气打磨表示能力，部署阶段轻装上阵，这个账怎么算都划算。只是这篇论文也没有回答一个问题，如果未来的任务场景比训练时见过的更复杂、更长程，这种靠几何特征预测撑起来的"预判能力"还能不能跟得上？

Q&A

Q1：MM-ABC是什么？

A：MM-ABC是一个面向通用移动操作的机器人基础模型，由香港科技大学（广州）、清华大学等机构的研究团队提出，核心是通过多层次视觉感知、未来几何预测监督和手臂底盘协同控制三个设计，让机器人能一边移动一边精细操作物体。

Q2：MM-ABC为什么选择预测清晰动作而不是预测速度？

A：论文通过合成实验和真实消融实验发现，清晰动作预测让网络不用记住并抵消噪声方向，训练和采样都更准确。实验显示换成速度预测后，RoboCasa365复合任务成功率从32.8%掉到29.2%，差了3.6个百分点。

Q3：MM-ABC的训练数据规模有多大？

A：MM-ABC预训练用了超过5000小时数据，来自12个数据集、51个子集、17种机器人形态，超40万条演示轨迹，还包括团队自采的MM-30真实移动操作数据集，覆盖40多种任务场景。