机器人要在300毫秒内想明白该怎么动，还是12毫秒内？

你可能没意识到，现在最先进的机器人大脑，做一个决定要花多长时间。

不是科幻电影里那种瞬间反应，是实打实的三百毫秒。你眨一次眼大概是100到150毫秒，也就是说，一个顶尖的机器人模型,在你眨完两次眼之前,才刚刚想清楚接下来该伸哪只手、抓哪个物体。这还是在英伟达H100这种顶级显卡上跑出来的成绩。

这篇来自南洋理工大学、北京航空航天大学、商汤科技等机构联合研究的论文,把这个数字从300毫秒砍到了12.2毫秒,整整快了25倍。更关键的是,精度几乎没掉,下降幅度控制在1%以内。这事儿听起来简单,做起来却牵扯到两个一直没人真正解决的瓶颈。

**世界动作模型为什么这么慢**

先说说这个研究到底在解决什么问题。

World Action Model（世界动作模型，简称WAM）：一类让机器人在预测动作的同时，也去想象"接下来世界会变成什么样"的AI模型，通过视频生成的方式辅助动作决策。

传统的机器人控制模型，比如π0、OpenVLA这类所谓的Vision-Language-Action模型（视觉-语言-动作模型，简称VLA，直接把看到的画面和听到的指令翻译成动作指令），逻辑很直接：看一眼，想一下，动一下。但WAM多了一步，它会先在脑子里"预演"一遍：如果我这么做，接下来的画面会是什么样？这种预演能帮模型更好地理解物理规律，比如抓取一个杯子时手该怎么转、力该怎么使。

这就好比一个老司机倒车入库,他脑子里其实在飞快地模拟"车往右打一点，后视镜里的线会怎么移动"，而不是闭着眼睛硬怼。这种预演能力让WAM在复杂任务上比纯VLA模型表现更好，但代价是，它脑子里要同时维护两套系统：一套管画面生成的"视频专家"，一套管动作决策的"动作专家"。

问题就出在这两套系统怎么配合上。

现在效率比较高的WAM采用的是Mixture-of-Transformers架构（混合专家Transformer架构，简称MoT，把视频生成和动作生成拆成两个独立但互相通信的神经网络模块），视频专家只需要算一次，把结果给动作专家反复用。这本该很快，但论文作者发现了两个一直被忽视的拖后腿环节。

第一个问题是动作专家自己要磨磨唧唧想很多遍。现在主流的扩散模型或者流匹配模型生成动作，往往需要迭代十步甚至更多，每一步都要重新计算一遍，像是写文章先打草稿再反复修改，改十稿才定稿。论文里的数据显示，这个"反复修改"的过程占掉了整个推理时间的近90%。

第二个问题是两个专家互相干等着。按照原来的设计，动作专家必须等视频专家把整个画面都算完,才能开始工作，这就像两个人接力跑步，前一个人必须跑完整整一圈，后一个人才能迈出第一步，哪怕后一个人其实只需要前面一小段的信息就够了。

这两个问题叠在一起，就是300毫秒的由来。

**教师锚定一致性蒸馏**

先说第一个瓶颈怎么破。

研究团队的目标是让动作专家从原来要迭代十步，变成只迭代一步。这种压缩步数的技术在图像和视频生成领域已经有现成的思路，叫一致性蒸馏（Consistency Distillation，简称CD，一种让模型学会从任意噪声状态直接跳到最终干净结果的训练方法，省去中间很多步骤）。

一致性蒸馏的基本逻辑是：找一个已经训练好、能走完整个去噪过程的老师模型，让学生模型学习"沿着老师走过的同一条路径，不管从哪个点出发，最终都应该落在同一个终点"。这就像教一个新手厨师炒菜，老师傅可能要试七八次火候才能炒出完美的那盘菜，但新手如果能直接学会"看到这个状态，应该怎么调整才能最接近成品"，理论上就能一步到位。

但研究团队发现，直接把这套方法照搬到机器人动作生成上会出问题。

他们管这个问题叫局部-全局误差鸿沟。

局部-全局误差鸿沟：一致性蒸馏只盯着相邻两个时间点之间的误差小不小（局部一致性），却没有直接约束最终生成的动作和真实目标动作之间差多少（全局目标误差）。即使局部误差看起来很小，最终的动作误差依然可能很大。

论文里给出了实验证据。图3的右侧曲线显示，用传统一致性蒸馏训练三万步之后，学生模型预测的速度和老师模型真实的平均速度之间，平方距离并没有明显下降，基本在同一个水平线上晃悠。这意味着模型虽然"局部看起来很听话"，但整体预测的终点可能偏得不轻。

这个问题在机器人控制场景里特别致命。为什么?因为机器人的动作空间本来就很窄,抓取位置、夹爪开合角度这些参数，稍微偏一点，任务就失败了。图像生成差一点可能人眼看不出来，但机械臂抓偏了一厘米，杯子可能就直接掉地上了。

研究团队的解决方案是，在局部一致性约束之外，再加一道直接的终点约束，他们管这个方法叫教师锚定一致性蒸馏。

Teacher-Anchored Consistency Distillation（教师锚定一致性蒸馏，简称TACD）：在原有的局部一致性监督之外，额外用冻结的老师模型走完整条十步去噪路径得到的终点，作为"标准答案"直接监督学生模型的预测，从而补上局部一致性没能约束到的全局误差。

具体怎么做的呢。研究团队让冻结的老师模型做一次10步的完整去噪，得到一个终点动作，把这个终点当作"真实干净动作"的数值代理。然后计算从当前噪声状态到这个终点的平均速度，直接拿这个平均速度去监督学生模型预测的速度。

这就好比，原来的训练方式是老师每改一步作文就给一次反馈，"这句话改得不错"，但学生永远不知道整篇文章最终该长什么样。教师锚定的做法是，额外甩给学生一篇已经改到满分的范文，告诉他"你最终要往这个方向靠"。如果不这么做，学生可能每一步修改都让老师满意，但七改八改之后，文章已经跑题了，离最初想表达的意思越来越远，而没有人在中途提醒他"你已经偏了"。

论文从理论上证明了这件事：总误差可以分解成局部一致性误差加全局目标误差，而教师锚定的损失函数恰好能同时约束这两项的组合。他们还推导出了一个误差上界，证明只要教师模型走的步数K足够多（实验里用了K=10），这个数值代理的误差就能被压得很小，不会反过来拖累训练效果。

实验结果也印证了这个设计的价值。表3的消融实验显示，单独用一致性损失，RoboTwin基准上的整体成功率是89.85%，加上教师锚定损失之后提升到90.84%。这一个百分点的提升，背后是机器人在真实任务里犯错概率实打实的下降。

**跨专家波前流水线**

解决了"动作专家想得慢"的问题，还剩下"两个专家互相等"的问题。

研究团队先做了一件很细致的事：把每个Transformer模块拆开看，到底谁依赖谁。

他们发现，每个DiT模块（Diffusion Transformer模块，扩散模型里常用的基础网络结构单元，论文里视频专家和动作专家都是由很多个这样的模块堆叠而成）内部可以拆成三步：先算Q/K/V投影（也就是把输入转换成注意力机制需要用的三种中间表示），然后做注意力计算，最后做剩余的计算。

关键的发现是，动作专家的注意力计算，只需要同一层视频专家算出的K和V（Key和Value，注意力机制里用来匹配和提取信息的两组向量），完全不需要等视频专家把所有层都算完。原来的做法相当于，视频专家把从第一层到最后一层全部算完，才把结果一股脑交给动作专家，但动作专家处理第一层的时候，其实根本用不上视频专家第二十层算出来的东西。

这就像一个厨房里，炒菜师傅要等配菜师傅把当天所有的菜都切完，才开始炒第一道菜，但其实炒第一道菜只需要配菜师傅切好第一份配料就够了。如果继续等下去，整个厨房的出菜速度会被白白拖慢，因为后面大把的等待时间其实毫无必要。

基于这个洞察，研究团队设计了跨专家波前流水线。

Cross-Expert Wavefront Pipelining（跨专家波前流水线，简称CEWP）：把原来"视频专家全部算完再轮到动作专家"的粗粒度等待，改成按模块逐层同步的细粒度流水线，动作专家只在真正需要用到某一层视频信息的那一刻才暂停等待，其余时间两边并行推进。

具体实现上，他们把视频专家和动作专家分别放到两条独立的计算流上，每当视频专家某一层的K和V算完，就立刻发出一个"就绪信号"，动作专家对应那一层只在要做注意力计算的前一刻去检查这个信号，检查到了就继续往下走，检查不到才真正等待。这种同步方式让两边的计算像两列交错前进的波浪一样推进，而不是一列车必须完全停下来等另一列车进站。

论文里还做了严谨的等价性证明（附录D），证明这种异步调度方式和原来顺序执行的结果在数学上完全一致，只是换了个执行顺序，没有引入任何近似或精度损失，也不需要重新训练模型。这点挺重要的，意味着这个加速技巧是"免费的午餐"，不用拿精度去换速度。

**

把这两个核心技术加上一些工程优化叠在一起，效果如何呢。

图5给出了详细的拆解过程。以基于Fast-WAM的版本为例，原始模型推理一次要299.7毫秒。光是教师锚定一致性蒸馏（把动作去噪步数从10步压到1步）这一项，就把延迟降到65.8毫秒，提速4.56倍。接着用CUDA Graph技术（一种把计算图提前固定、减少每次调用开销的工程手段）降到23.3毫秒。再加上跨专家波前流水线，降到17.4毫秒。最后再配合LightX2V团队提供的高效算子优化（比如把多个小的计算核函数融合成一个，减少显卡调度开销），最终落到12.2毫秒，总共提速24.55倍。

基于Faster-WAM的版本也类似，从218.9毫秒压缩到16.1毫秒，提速13.56倍。

这个结果有多实际呢。机器人控制系统通常需要30赫兹的控制频率，也就是每33毫秒要给出一次新的动作指令。原来300毫秒的延迟，意味着系统根本跟不上这个节奏，必须靠一些额外的异步执行技巧硬撑。而12.2毫秒的延迟，已经远远快于这个节奏要求，机器人终于可以做到"边看边想边动"，而不是"想好半天再动"。

精度方面有没有牺牲呢。论文在三个基准上做了详细测试。

在RoboTwin 2.0基准上（一个双臂机器人操作的评测环境，包含50个任务，分干净环境和随机扰动两种设置），基于Faster-WAM的RealtimeWAM达到92.64%的整体成功率，相比原始10步模型的92.93%，只掉了0.29个百分点，几乎可以说是无损。基于Fast-WAM的版本也只掉了0.67个百分点。

在LIBERO基准上（另一个常用的机器人操作评测集，包含空间、物体、目标、长序列四类任务），基于Faster-WAM的版本甚至达到99.0%，比原始10步模型的98.9%还略高一点点。

在LIBERO-Plus基准上（专门用来测试模型在相机角度变化、光照变化、背景干扰等各种分布外扰动下的鲁棒性），整体成功率是73.0%，比原始模型的73.6%低了0.6个百分点，但在相机扰动、传感器噪声、布局变化这几项上甚至略有提升。这说明步数压缩并没有明显破坏模型应对意外情况的能力。

对比其他同类加速方法，这个结果也站得住脚。比如同样做一步蒸馏的Flash-WAM，在RoboTwin上只能做到81.41%，比RealtimeWAM低了十个百分点以上。直接把Fast-WAM硬压到一步而不用任何蒸馏技巧，成功率只有69.27%，掉了二十多个百分点，这个对比直接说明了教师锚定一致性蒸馏这项设计到底值多少钱。

**

论文还做了一个真实机器人的演示实验，让人印象深刻。

研究团队用两台AgileX公司的PiPER双臂机器人，让蒸馏后的模型去叠一件T恤。这是个长序列任务，意味着每一步抓取和折叠都会改变衣服的几何形状，前面抓歪了，后面的折叠位置也跟着全错，属于典型的"一步错步步错"场景。

这就像多米诺骨牌，第一张牌放的角度决定了后面几十张牌能不能顺利推倒，中间任何一个环节卡顿，整个链条就断了。

实验里，研究团队用的是基于Fast-WAM蒸馏出的一步模型，推理跑在一块消费级的RTX 4090显卡上。观察结果显示，连续的抓取和折叠动作之间没有明显的停顿卡顿，整个叠衣服过程进行得很连贯。论文特别提到，这次测试甚至没有用到额外的执行层异步技巧，比如Real-Time Chunking这类专门用来掩盖推理延迟的工程手段，单靠模型本身的低延迟就撑住了整个流程。

这个细节其实挺说明问题的。很多实验室演示会靠各种工程补丁来掩盖底层模型的慢，但这次的流畅执行是真正来自推理速度本身的提升，而不是靠外部手段打补丁。

**

这类面向机器人控制加速的研究，这两年正在变成一个热门方向。

比如和这篇论文同期被提及的Flash-WAM，2026年提出了针对视频和动作两种模态设计不同噪声处理策略的思路，试图解决"视频和动作对噪声的敏感程度不一样"这个问题，但它的做法是在保留未来视频预测的前提下做少步蒸馏，一步蒸馏时精度依然有明显下降，这也是RealtimeWAM这篇论文明确点出来要改进的地方。

再比如Light-WAM，通过状态融合的动作解码方式去提升效率和鲁棒性，在论文的对比表格里，Light-WAM在LIBERO上做到97.2%，和RealtimeWAM的97.0%非常接近，说明这个赛道上不同团队正在用不同路线逼近同一个效率天花板。

在异步推理这个更大的方向上，论文也梳理了三类不同思路：一类是像Real-Time Chunking那样在执行层做重叠，一类是像AsyncVLA那样把慢的语义模块和快的动作模块拆开，还有一类是像VLASH那样在采样层面给不同部分分配不同的去噪节奏。RealtimeWAM选择了一条更细粒度的路，直接下沉到模块内部的计算块级别去做异步，这在当前的研究里算是比较少见的切入角度。

---

写在后面

读完这篇论文，有个细节让我反复琢磨了很久：论文里那张局部一致性损失和教师锚定损失的对比曲线图（图3）。

传统方法训练三万步之后，局部一致性损失确实降下去了，看起来模型学得挺好，但同时测量的那个"距离真实终点有多远"的指标，几乎原地踏步。这说明了一件挺反直觉的事：模型可以在训练过程里表现得"看起来很听话"，每一步的反馈都让损失函数满意，但整体却悄悄跑偏了，而且这种跑偏在传统的训练曲线上完全看不出来，必须专门设计一个指标才能发现。

这让我想到一个更普遍的问题，不只是机器人模型，很多被"局部指标"驱动的系统都可能有这种隐藏的偏差，比如某些推荐算法天天优化点击率，结果用户整体体验却越来越差，因为没人在盯着那个真正重要的全局目标。这篇论文的教师锚定设计，本质上是在提醒一件事：光盯着每一步是否正确，不代表整条路走对了，有时候你得时不时抬头看看终点在哪。

另外一个让我觉得有意思的地方是，这个团队没有重新训练一个全新的模型，而是选择在已有的Fast-WAM和Faster-WAM基础上做LoRA微调（只调整一小部分低秩参数,大幅降低训练成本的技术），再叠加一个纯粹是工程层面的异步调度优化。这种"站在巨人肩膀上做减法"的思路，比从零造一个新模型务实得多，也更容易被其他团队直接复用到自己的模型上。

如果有一天机器人真的能像人一样，边看边想边动，不需要停下来"发呆"三百毫秒才做决定，那种流畅感可能会让我们第一次真正觉得，面前那个金属机械臂，有了一点点"活物"的样子。

Q&A

Q1：RealtimeWAM是什么？

A：RealtimeWAM是一种让世界动作模型实现一步动作生成和异步推理的后训练加速方法，能在几乎不损失精度的前提下把推理延迟从300多毫秒压缩到12毫秒左右，提速可达25倍。

Q2：教师锚定一致性蒸馏解决了什么问题？

A：它解决了传统一致性蒸馏中局部误差小但全局终点误差大的问题，通过让冻结教师模型走完整条去噪路径得到的终点直接监督学生模型，从而实现精度损失很小的一步动作生成。

Q3：跨专家波前流水线为什么能加速推理？

A：因为它发现动作专家每一层只需要视频专家对应层的结果，不需要等视频专家全部算完，于是把两个专家的计算拆成逐层流水线并行推进，减少了原本不必要的全程等待。