机器人世界模型新方法:绕开画风差异,只对齐动作变化
你大概见过这样的视频:机械臂在桌面上抓起一个杯子,动作丝滑得像人。可如果你把这段视频的真实来源翻出来,会发现它根本没在真桌子上拍过,而是模型"想"出来的未来。这件事在机器人研究里已经不算新鲜,真正让人头疼的是另一件:模型想出来的动作,到底靠不靠谱。先从一个具体的麻烦说起。假设你训练了一个视频世界模型,...
机械臂在桌面上抓起杯子、动作顺滑得像真人的视频,你可能刷到过。可要是追到视频的出处,会发现它压根没在真实的桌子上拍过,是模型“想”出来的未来。这在机器人研究里早就不稀奇。真正麻烦的是另一件事:模型想出来的动作到底靠不靠谱。
先讲一个具体的麻烦。
设想你训练了一个视频世界模型:给它一张机械臂的初始照片,再给一段未来动作指令(往左挪 3 厘米、夹爪闭合),由它画出接下来会发生什么。这类模型叫动作条件世界模型。它的用处很直接——预测得够准,机器人就能把它当“沙盘”,先在脑子里试一遍动作再作决策,甚至靠它造出大量假数据来训练真正的控制策略。
可真实的机器人视频太杂。
同样是抓取任务,桌面颜色一换、光照一换、相机角度一换,画风就完全不同。模型得同时学会两件事:动作和画面变化之间的因果对应(我动,画面就跟着动),以及那些跟动作无关的视觉风格。后者会干扰前者的学习。真实视频里还夹着大量与动作无关的信息——背景里飘过的影子、镜头抖动、物体纹理,它们都在稀释“动作信号”的浓度。
那为什么不直接用仿真数据?
仿真环境里,机器人每一步动作对应的画面变化都精确、干净、可控。几十万条轨迹随便生成,每条轨迹的物理还都是准的。看上去,这是个完美的监督来源。
但它有个致命缺陷:仿真画面和真实画面长得完全不一样。仿真里的机械臂是光滑的塑料质感,真实里是金属反光加阴影;仿真背景是纯色,真实背景是斑驳的桌面。直接拿仿真视频去训练真实模型,它会把大量精力花在“模仿仿真的画风”上,而不是学“动作怎么导致画面变化”。
于是有了这篇论文最核心的想法:画风对不上,那就绕开画风,只对齐“变化”。
Latent Motion Distillation(潜在运动蒸馏)
用一个生活场景来理解这件事。
假设你要教一位从没进过西餐厅的朋友用刀叉切牛排,你会怎么教?多半不会丢给他一张摆盘精致的照片让他照着比划——那照片里盘子、桌布、蜡烛、背景灯光一应俱全,他模仿半天,学到的恐怕是摆盘,不是切肉。更靠谱的办法是放一段切肉的动作录像,只盯手腕和刀的运动轨迹:压下去、拉回来、再压下去。这套动作,放到西餐厅还是路边摊都不变,刀是银的还是铁的也不影响。
仿真数据扮演的就是那张“摆盘精美的照片”,动作本身跟一大堆无关的画风被捆在了一起。潜在运动蒸馏要干的活,是把“手腕和刀的运动轨迹”这份纯运动信息从照片里择出来,绕开盘子桌布的干扰。那要是跳过这一步,直接去对齐画面像素呢?论文的消融实验给出了结果:采用潜变量匹配(也就是对齐画面本身),而非运动匹配(对齐帧间差异),
这还只是第一步。
第二个麻烦是:就算蒸馏出了运动先验,仿真预测本身也不完美。老师在仿真里也可能算错。学生要是完全依赖老师给的仿真轨迹当参考,就会把这些错误一并学进去。这就像抄一个学霸的作业,他错的那道题你也原样抄了,还压根不知道错在哪。
怎么解决?论文给了一个优雅到有点狡黠的方案:让模型自己学会“什么时候该听老师的,什么时候该自己判断”。
具体做法是两步。第一步,
这一招能奏效,原因在于模型被训练出了两套本事:有参考的时候知道怎么借力,没参考的时候知道怎么自己干。等到了推理阶段,这两套预测就交给模型自己去权衡。
这里插入一个术语。
再用生活场景理解一次。
打个比方,你装修房子请了位设计师出主意。要是百分之百照做,他一旦看走眼(比如漏算了你家层高),后果只能你自己扛;可完全不听,那请他来做什么?更聪明的办法是:方案拿到手,自己再过一遍,觉得靠谱的部分多采纳,拿不准的部分少采纳。论文里的 w,就是控制这个“采纳程度”的旋钮。实验显示,w=0.6 的时候
这里的关键洞察是:仿真参考不是“必须执行的真理”,而是“可以使用的情报”。
那怎么在不引入额外模型的前提下同时做到这些事?
论文给出的解法是:让一个共享参数的模型把两件事一起干了。同一个学生模型,既能生成仿真域的条件(拿它自己的预测当参考),也能生成真实域的视频。推理的时候,先根据初始观察和动作让模型预测出仿真潜在,把它固定住作为条件,再去生成真实视频。从头到尾只用这一个学生模型,不用另起一个仿真世界模型来跑。
打个比方。你要拍一部“未来城市”的电影,得先有概念图当视觉参考。路子有两条:一条是另请一位概念设计师专门来画,另一条是让摄影师自己随手勾几张草图,再照着草图去拍最终镜头。后者明显更省资源,草图不必多精细,方向对了就行。论文走的正是这条路:仿真参考不用完美,粗略即可。附录实验还发现,仿真生成步数从 1 步加到 20 步,对最终效果影响很小,1 步就足以给出“运动方向”。
接下来看数据。
在
表 1 动作条件视频预测(Bridge 验证集),列为模型、推理时间(秒)、PSNR↑ 等指标。
带具身预训练:IRASim 25.9秒 / 18.062 / 0.753 / 47.27 / 333.92 / 0.2102
带具身预训练:Cosmos-Predict2.5 20.5秒 / 27.216 / 0.880 / 23.74 / 119.38 / 0.0996
不带具身预训练:Ctrl-World 16.9秒 / 20.928 / 0.761 / 46.67 / 235.57 / 0.1674
不带具身预训练:EnerVerse-AC 16.6秒 / 22.599 / 0.797 / 28.67 / 181.55 / 0.0933
不带具身预训练:Wan2.2-TI2V-5B(SFT) 1.8秒 / 22.751 / 0.838 / 23.97 / 168.71 / 0.0926
不带具身预训练:GeniWorld 4.1秒 / 23.436 / 0.845 / 23.62 / 148.74 / 0.0799
在不带具身预训练的组别里,PSNR、
消融实验的结果更有看头。
表 2 组件消融(Bridge),各列依次为 ID、FM、TA、MD、SC、PSNR↑、SSIM↑ 等。
(a) ? ? ? ? 24.128 0.851 22.03 141.81 0.0751
(b) ? ? ? ? 24.523 0.854 21.52 134.56 0.0702
(c) ? ? ? ? 24.166 0.849 27.46 154.69 0.0768
(d) ? ? ? ? 24.310 0.852 19.18 100.27 0.0769
(e) ? ? ? ? 23.732 0.848 21.83 145.40 0.0772
(f) ? ? ? ? 25.077 0.858 25.21 137.49 0.0673
FM 指联合流匹配,TA 指轨迹增强,MD 指运动蒸馏,SC 指仿真条件。对比 (d) 和 (f):引入运动蒸馏后,FVD 由 141.81 降到 100.27;再把仿真条件叠上去,PSNR 和 SSIM 都达到最高。可见两个机制互相补位,一个负责运动在时间上的连贯,一个负责预测画面的视觉准确度。
这里有个反直觉的发现:加入仿真条件后,FID 不降反升,从 19.18 涨到 25.21。原因在于,模型要在“把动作做准”和“让画面贴近真实分布”之间做取舍。运动蒸馏把学生的注意力更多引向动作驱动的画面变化,代价是无关背景的统计真实性被牺牲掉一部分。这属于设计上的权衡,并非 bug。
最后看下游任务上的验证。
表 5
初始化一栏的对比先从五个维度看,依次是 Spatial、Object、Goal、Long 和平均。
只拿动作数据训练时,Wan2.2 基线在 Spatial 上是 88.0,Object 95.6,Goal 82.8,Long 64.0,平均 82.6。
同样只训动作,本论文的 WM 交出的成绩是 Spatial 89.4、Object 95.6、Goal 92.4、Long 79.2,平均 89.2,比基线高。
换成无条件训练,Wan2.2 的表现为 Spatial 96.4、Object 99.6、Goal 97.6、Long 92.2,平均 96.5。
无条件训练下,本论文 WM 拿到 Spatial 97.2、Object 99.8、Goal 98.0、Long 94.8,平均 97.5,同样实现反超。
视频加动作一起训练时,Wan2.2 的成绩是 Spatial 99.4、Object 98.2、Goal 98.8、Long 95.8,平均 98.1。
同一设置下,本论文 WM 为 Spatial 98.6、Object 99.8、Goal 97.8、Long 97.4,平均 98.4,仍略高一点。
另一种做法,是拿世界模型预训练得到的权重去初始化一个
"仅动作训练"这一组里有个细节需要单独拎出来:视频专家处于冻结状态,训练只发生在动作专家身上。换句话说,视觉表征好不好,全看预训练阶段,下游连一点微调的空间都没有。就在这种条件下,成功率仍能提高 6.6 点,可见预训练学到的视觉表征本身就带着对动作有用的信息,并非只学会了生成好看的画面。
写在后面
翻这篇论文的时候,有个细节把我卡住了。
它用
这倒让人想起一件挺反常识的事。过去我们总认为,要让 AI 看懂世界,信息给得越多越好——模态越丰富越好,细节越充分越好。可这项工作传出的信号正好相反:有些时候,主动丢信息才是要害。画风不要了,背景不要了,物体也不要了,只保留"关节怎么动",模型反倒学得更出色。
更根本的疑问随之而来:万一仿真和真实的差距大到某个程度,"只对齐运动"这套策略还站得住吗?论文采用的是
另有一处实验细节我还没完全琢磨透:论文里仿真生成步数从 1 步加到 20 步,最终结果受到的影响很小。作者的说法是"粗略的仿真参考就够了"。可为什么就够?是运动方向本身携带的信息量不大、用不着高分辨率,还是因为
也许真正的答案藏在
Q&A
Q1:SimForcing 到底是什么?
A1:这是北京大学团队提出的机器人世界模型框架。它的思路是先用仿真数据训出一个"老师"模型,再借助潜在运动蒸馏,把这位老师掌握的运动知识转移到真实域的学生模型上;同时引入可调节的引导机制,用来控制模型对仿真预测的依赖程度。
Q2:直接拿仿真数据训练真实视频模型,为什么行不通?
A2:仿真画面和真实画面在画风上差得太远,质感、光照、背景纹理都对不上。若直接做像素级对齐,模型会把力气花在模仿画风上,而非学习动作与画面变化之间的因果关系。论文因此只对齐相邻帧之间的差异,把画风干扰绕开。
Q3:SimForcing 对下游的机器人控制能带来什么实际帮助?
A3:用它预训练的世界模型权重去初始化