上海交大等团队提出WAVE-0：让机器人先预判再动手

一个机械臂伸手去抓桌上的杯子，这之前它脑子里在盘算什么？你有没有想过这个问题。

眼下主流的机器人控制模型给出的答案恐怕让人有点失落：什么都没想。看一眼画面，听一句指令，关节角度数字就直接吐出来了。快倒是快，可这更像条件反射——球飞过来就伸手，压根不考虑“这么接，球会弹到哪儿去”。

上海交通大学、觉醒机器人、百度智能云和浙江大学团队合作的论文WAVE-0，瞄准的正是这个缺口。他们给机器人安了一个会“预判”的脑子：动手之前，先在心里过一遍“我这么做，世界会变成什么样”。

**机器人为什么非得会“预判”**

要弄清WAVE-0填了什么空白，得先看当下机器人大脑的两条技术路线。

头一条是VLA策略。

VLA*：Vision-Language-Action的缩写，即视觉-语言-动作模型。摄像头拍到的画面加上文字指令，直接被它映射成机器人的动作指令，这是目前机器人控制的主流方案。

毛病出在“观察→动作”是直接映射的，中间缺了对“动作会怎样改变环境”的建模。打个比方，刚学开车的新手知道踩油门车会走，却从没在脑子里预演过“现在打方向盘，车头会偏到哪”，操作全靠条件反射，后果走一步看一步。

第二条路线WAM，就是想解决这个问题的。

WAM*：World Action Model的缩写，即世界动作模型。动作执行后环境会变成什么样，这类模型会显式预测出来，再据此生成动作。

不过WAM目前的主流做法建立在视频生成模型上：先让AI在脑海里“画”出一段未来视频，再从这段想象的视频里提炼动作。思路听着挺美，可video生成太吃资源了。预测下一秒桌上杯子的位置，真需要把杯子的反光、阴影、背景墙纸纹理都一五一十画出来吗？当然不需要。视频生成模型偏偏得画，因为它分不清哪些像素是动作决策要用的、哪些只是视觉噪音。推理因此变慢，算力成本也高。

折中方案不是没有：不在像素空间里预测未来，改在一个压缩过的“潜在空间”里预测。这个思路更聪明，但论文提到的几个先例各有各的毛病。拿LaWAM来说，它从视频片段里反推“当时发生了什么动作”，再用推测出的动作指导预测。问题在于，反推出来的“动作”未必是机器人真正该执行的那个，它只解释了已发生的画面变化，而非导致变化的那条可执行指令。好比看到地上有湿痕，你猜“刚下过雨”，实际可能是有人打翻了水杯，推测的原因和真实原因对不上号，据此做的下一步判断就会跑偏。更麻烦的是，LaWAM还得在差不多4500小时的视频上做预训练，训练成本极高。

WAVE-0团队问得很直接：机器人演示数据里本来就标注了真实执行的动作，这些动作和后续画面严格配对，为什么还要绕一大圈去反推，不直接拿现成的真实动作来训练未来预测模型？

问题听着简单，回答起来却要一整套设计。下面拆开看WAVE-0是怎么做的。

**设计思路一：拿真实动作直接训练“世界模型”**

WAVE-0的第一个关键决定，是训练一个专门预测“动作后果”的模型。它不猜动作是什么，而是把演示数据里记录的真实动作直接当输入，去学“给定这个动作，画面会怎么变”。

具体做法上，团队用预训练好的VLA模型（π0.5）里的视觉编码器，把当前画面和未来画面都压成一组向量表示。这组向量不是像素，是浓缩过的语义特征。

SigLIP* 属于视觉编码器：它负责把图片转成一组数字向量，这些向量带有语义信息。相比原始像素，向量数量要少很多，但理解图像内容所需的信息仍然留了下来。

于是世界模型的任务就变成：给定当前这组向量、机器人当前的姿态状态，再加上接下来要执行的真实动作序列，去预测未来时刻这组向量会变成什么样。全程不涉及还原出一张真实图片，只在特征空间里做“推演”。

好处显而易见。只需预测语义特征怎么演变，不必操心光影、纹理这些和决策无关的细节，世界模型就能做得很小，只有2.57亿参数。WAVE-0的完整模型大约43亿参数，世界模型占的比例并不大。

这就像预判一盘棋的走势，你根本不用在脑子里把每颗棋子的木纹和反光都想象出来，记住“这个位置有车，那个位置有马”这种抽象局面信息就够了。非要连木纹都想清楚，大脑计算量暴涨，对判断棋局毫无帮助。视频生成式WAM的尴尬处境正在这里，WAVE-0绕开了这个陷阱。

光预测未来还不够，团队又加了一个很巧的训练目标，叫反事实排序损失。

反事实*：假设事情没有按实际发生的方式发生，这里指“如果换一个不匹配的动作会怎样”这类假设情境。

具体做法是：当前画面保持不变，把真实执行的动作换成完全不匹配的、随机抽取的动作序列，让模型去预测“执行这个错误动作，未来会是什么样”。然后要求模型给出的预测结果，必须比真实动作对应的预测结果，离“实际观测到的未来”更远。

也就是说，模型得同时掌握两件事：做出某个动作会带来怎样的未来，换成别的动作未来就不会是那样。只有这样，动作与后果之间的因果联系才算真正建立起来，而不是含糊地记住一堆画面上的统计规律。

这个设计究竟管不管用，论文专门做了实验来验证。训练到两万步的时候，加入排序损失的模型，在“正确动作对应的未来”与“错误动作对应的未来”之间拉开了0.1648的区分度；没加这个损失的模型只有0.0020，基本看不出差别。还有个更直观的指标：89.5%的样本里，模型能清楚判断出正确动作比错误动作更贴近真实未来，而没有这层约束的模型，这一比例是0%。可见缺了反事实对比，模型很可能在偷懒，学到的只是“画面大致朝哪个方向变”这种模糊统计规律，动作和后果之间的因果链条并没有被真正理解。

**设计思路二：让VLA的“大脑”和“预判”模块真正对话**

世界模型训练好之后，下一个问题就来了：怎么把它接进真正干活的VLA策略里？

这里

实际运作的流程是这样：VLM先产出一组潜在动作计划。

VLM*：Vision-Language Model的缩写，即视觉语言模型，这里指论文所用的PaliGemma模型，它的职责是理解画面和语言指令，并输出对动作意图的初步表示。

这组“潜在动作计划”并非可以直接执行的关节角度，而是一组抽象的中间表示，意思是“大致要做什么”。随后，冻结住的世界模型以这组计划为条件，预测执行之后画面会变成什么样子。最后，一个名为Resampler的小模块把预测结果压缩成一组“未来提示token”，交给负责生成具体动作的Action Expert。这样它在生成每一步动作时，既能看见原始的视觉语言信息，也能参考“照这个计划走，未来大概是什么样”。

这套流程最巧妙的地方在于，最终输出动作的Action Expert看不到VLM生成潜在计划时所用的那些查询token，它能接触到的只有世界模型预测出的未来画面特征。也就是说，“预判”这一步必须实打实地起作用，绕不过去。

打个比方，一个团队做决策，如果拍板的人既能听到参谋部门直接给的建议，又能看到他们对后果的预判分析，那他很容易只挑建议听，预判分析完全不理，毕竟建议更直接。WAVE-0的设计等于规定：拍板的人只能看到预判分析，听不到参谋部门原始的建議内容。这样一来，预判分析就必须承载真正有用的信息，不能沦为可有可无的摆设。不这么设计的话，模型很可能学会走捷径，把预判结果晾在一边，那“让预判指导行动”的初衷就落空了。

论文用一组对比实验说明了这个设计的价值。在RoboTwin 2.0这个双臂操作基准上，直接用π0.5，平均成功率是80.38%。给它配上世界模型、但只当作训练时的辅助损失（也就是前面说的第一种做法），成功率升到89.51%。WAVE-0让预测结果真正参与推理之后，成功率又提高到91.47%。这组数字说明，哪怕只是把预测结果当训练时的辅助信号，收益也已经很明显；而让它参与到每一步推理中，还能再往上挤出将近2个百分点，这个数字不能小看。

**实验结果：在多个基准上都跑赢了同类方法**

设计思路讲了这么多，实际效果究竟如何？

论文在LIBERO和RoboTwin 2.0这两个主流仿真基准上做了测试。

LIBERO*：一个机器人操作基准测试集，涵盖空间、物体、目标、长序列四大类共40个任务，用来衡量机器人策略在不同情境下的表现。

在LIBERO上，WAVE-0平均成功率达到98.7%，比基线π0.5高1.8个百分点。提升最大的是长序列任务，从92.4%升到97.6%，整整提高了5.2个百分点。这个结果挺能说明问题：长序列任务里，前一步动作的后果会直接影响后面怎么做，恰恰是“预判未来”最该派上用场的地方。

在RoboTwin 2.0上，WAVE-0平均成功率91.47%，比π0.5高出11.09个百分点，干净场景和加了大量随机扰动的场景，提升幅度都差不多。和同样走潜在空间路线的LaWAM相比，WAVE-0是91.47%对91.22%，略微领先；到了随机扰动场景，领先幅度更明显，91.48%对89.80%，可见WAVE-0的预判机制面对环境变化时鲁棒性更强。

团队还专门查了哪些任务提升最大，发现“堆三块积木”提升了23个百分点，“堆三个碗”提升了33个百分点。这两个任务都得连续完成好几个有依赖关系的子目标，一步没堆稳，后面全崩。这进一步印证了，预判未来对这类环环相扣的任务特别有帮助。

更有意思的是分布外泛化测试。团队把在LIBERO上训练好的模型直接拿过来，不做任何微调，放到几个专门测试鲁棒性的变体基准上跑。

LIBERO-Plus* 这个基准就是为检验模型鲁棒性而设的：相机视角、机器人初始姿态、指令措辞、光照、背景、传感器噪声、物体布局，这 7 个维度上它都会施加扰动。

在LIBERO-Plus上，WAVE-0综合成功率88.0%，是所有对比方法里最高的，比π0.5高3.5个百分点。其中机器人初始姿态扰动这一项提升最猛，达到14个百分点，相机视角扰动提升6.5个百分点。这说明预判机制带来的收益不只在训练分布内有效，遇到没见过的变化时也更稳。另一个叫LIBERO-Pro的基准测试物体、空间布局、指令和环境的变化，WAVE-0达到61.4%，比π0.5高8.4个百分点。在测试指令换种说法是否影响表现的LIBERO-Para基准上，也从71.4%提升到75.0%。

真实机器人上的测试同样站得住脚。团队拿一台双臂AgileX Piper机械臂，做了整理书本、收纳U盘、推回键盘这3个真实任务，每个任务采集200条演示数据，各方法分别独立训练，各自跑20次。最后WAVE-0在3个任务上都排第一，平均成功率73.3%；π0.5只有38.3%，差不多差了一倍。另两个对比方法LaWAM和ImageWAM的平均成功率分别是43.3%和40.0%，同样落后WAVE-0不少。

训练效率这块还有个细节。团队做了对比，发现WAVE-0在训练数据量上比LaWAM省下很多。按真实世界3个任务折算，每个任务的训练样本量，LaWAM需要1152万条，WAVE-0大约只要1109万条，差不多是前者的十分之一。原因前面已经说过：WAVE-0不用在几千小时视频上做大规模预训练，它直接拿机器人演示里的真实动作来训练未来预测，那笔间接学习的开销就省掉了。

论文里还有一个挺直观的可视化实验：用训练好的模型在最后一步生成动作时，观察它的注意力落在画面哪些位置。结果显示，WAVE-0的注意力更集中，明确对着要操作的物体和目标位置；LaWAM则比较分散，常飘到机械臂自身、画面边缘这些与当前决策关系不大的区域。这从侧面说明，WAVE-0学到的预判信息确实和动作决策绑得很紧，不是一堆噪声。

**写在后面**

读完这篇论文，有个细节让我反复琢磨了一阵。

团队没去追更大、更花哨的视频生成模型，而是回过头问了一个朴素到有点"笨"的问题：演示数据里本来就带着真实动作标签，为什么大家宁可绕一大圈去反推动作，也不直接拿现成的真实标签来训练？这种不绕弯子的思路，其实也带着对这几年WAM技术路线的一次反思——大家可能不知不觉把问题想复杂了，总觉得非得靠海量无标注视频预训练才算有诚意，却把手上已有的、质量更高的监督信号搁在一边。

另一个我觉得有意思的地方是反事实排序损失这个设计。它教的其实不是"记住未来长什么样"，而是"分辨不同动作带来的未来差在哪里"。这种从对比里学因果关系的路子，在不少领域都能看到影子，比如对比学习在图像表征上的应用，核心逻辑很接近：不直接给答案，而是让你通过"和什么不一样"去逼近真正的规律。

不过论文自己也没把结论说死。它给出的实测数据里，WAVE-0 的推理延迟为 305.9 毫秒，比 π0.5 高出 18.8 毫秒；LaWAM 的模型更小，23 亿参数对 43 亿参数，延迟反而只有 223.9 毫秒。预判机制能带来收益，代价也摆在那儿——至少眼下这个版本，延迟开销还没压到最理想。后续研究大概就得回答这个问题：预判能力不打折扣的前提下，怎么让这套机制跑得更轻快。

机器人到底需不需要"想象力"？现在看来答案是肯定的。但想到什么程度才够用，什么时候想象反而成了拖累，这条边界在哪里，恐怕还要再过几年才看得清。

Q&A

Q1：WAVE-0是什么？

A：WAVE-0是上海交通大学等团队提出的机器人控制框架。它用一个257M参数的轻量级潜在世界模型，把VLM生成的潜在动作计划转成预测的未来视觉表征，让机器人在生成动作之前先"预判"后果，从而提升操作成功率和泛化能力。

Q2：WAVE-0相比LaWAM有什么优势？

A：WAVE-0不用在几千小时视频上做大规模预训练，而是直接拿机器人演示中的真实动作来训练世界模型，训练样本量约为LaWAM的十分之一；同时在RoboTwin 2.0和真实机器人任务上成功率更高，鲁棒性也更强。

Q3：WAVE-0在真实机器人实验中表现如何？

A：整理书本、收纳U盘、推回键盘这3个真实任务上，WAVE-0平均成功率达到73.3%，相比基线模型π0.5的38.3%几乎翻倍，也明显高于LaWAM（43.3%）和ImageWAM（40.0%）等对比方法。