机器人世界模型新方法:绕开画风差异,只对齐动作变化

资讯 腾讯网 作者:科技行者 全文 4145 字 · 约 11 分钟读完 分类世界模型机器人

你大概见过这样的视频:机械臂在桌面上抓起一个杯子,动作丝滑得像人。可如果你把这段视频的真实来源翻出来,会发现它根本没在真桌子上拍过,而是模型"想"出来的未来。这件事在机器人研究里已经不算新鲜,真正让人头疼的是另一件:模型想出来的动作,到底靠不靠谱。先从一个具体的麻烦说起。假设你训练了一个视频世界模型,...

所属频道 模型发布机器人与具身智能

机械臂在桌面上抓起杯子、动作顺滑得像真人的视频,你可能刷到过。可要是追到视频的出处,会发现它压根没在真实的桌子上拍过,是模型“想”出来的未来。这在机器人研究里早就不稀奇。真正麻烦的是另一件事:模型想出来的动作到底靠不靠谱。

先讲一个具体的麻烦。

设想你训练了一个视频世界模型:给它一张机械臂的初始照片,再给一段未来动作指令(往左挪 3 厘米、夹爪闭合),由它画出接下来会发生什么。这类模型叫动作条件世界模型。它的用处很直接——预测得够准,机器人就能把它当“沙盘”,先在脑子里试一遍动作再作决策,甚至靠它造出大量假数据来训练真正的控制策略。

可真实的机器人视频太杂。

同样是抓取任务,桌面颜色一换、光照一换、相机角度一换,画风就完全不同。模型得同时学会两件事:动作和画面变化之间的因果对应(我动,画面就跟着动),以及那些跟动作无关的视觉风格。后者会干扰前者的学习。真实视频里还夹着大量与动作无关的信息——背景里飘过的影子、镜头抖动、物体纹理,它们都在稀释“动作信号”的浓度。

那为什么不直接用仿真数据?

仿真环境里,机器人每一步动作对应的画面变化都精确、干净、可控。几十万条轨迹随便生成,每条轨迹的物理还都是准的。看上去,这是个完美的监督来源。

但它有个致命缺陷:仿真画面和真实画面长得完全不一样。仿真里的机械臂是光滑的塑料质感,真实里是金属反光加阴影;仿真背景是纯色,真实背景是斑驳的桌面。直接拿仿真视频去训练真实模型,它会把大量精力花在“模仿仿真的画风”上,而不是学“动作怎么导致画面变化”。

于是有了这篇论文最核心的想法:画风对不上,那就绕开画风,只对齐“变化”。

Latent Motion Distillation(潜在运动蒸馏)

用一个生活场景来理解这件事。

假设你要教一位从没进过西餐厅的朋友用刀叉切牛排,你会怎么教?多半不会丢给他一张摆盘精致的照片让他照着比划——那照片里盘子、桌布、蜡烛、背景灯光一应俱全,他模仿半天,学到的恐怕是摆盘,不是切肉。更靠谱的办法是放一段切肉的动作录像,只盯手腕和刀的运动轨迹:压下去、拉回来、再压下去。这套动作,放到西餐厅还是路边摊都不变,刀是银的还是铁的也不影响。

仿真数据扮演的就是那张“摆盘精美的照片”,动作本身跟一大堆无关的画风被捆在了一起。潜在运动蒸馏要干的活,是把“手腕和刀的运动轨迹”这份纯运动信息从照片里择出来,绕开盘子桌布的干扰。那要是跳过这一步,直接去对齐画面像素呢?论文的消融实验给出了结果:采用潜变量匹配(也就是对齐画面本身),而非运动匹配(对齐帧间差异),

这还只是第一步。

第二个麻烦是:就算蒸馏出了运动先验,仿真预测本身也不完美。老师在仿真里也可能算错。学生要是完全依赖老师给的仿真轨迹当参考,就会把这些错误一并学进去。这就像抄一个学霸的作业,他错的那道题你也原样抄了,还压根不知道错在哪。

怎么解决?论文给了一个优雅到有点狡黠的方案:让模型自己学会“什么时候该听老师的,什么时候该自己判断”。

具体做法是两步。第一步,

这一招能奏效,原因在于模型被训练出了两套本事:有参考的时候知道怎么借力,没参考的时候知道怎么自己干。等到了推理阶段,这两套预测就交给模型自己去权衡。

这里插入一个术语。

再用生活场景理解一次。

打个比方,你装修房子请了位设计师出主意。要是百分之百照做,他一旦看走眼(比如漏算了你家层高),后果只能你自己扛;可完全不听,那请他来做什么?更聪明的办法是:方案拿到手,自己再过一遍,觉得靠谱的部分多采纳,拿不准的部分少采纳。论文里的 w,就是控制这个“采纳程度”的旋钮。实验显示,w=0.6 的时候

这里的关键洞察是:仿真参考不是“必须执行的真理”,而是“可以使用的情报”。

那怎么在不引入额外模型的前提下同时做到这些事?

论文给出的解法是:让一个共享参数的模型把两件事一起干了。同一个学生模型,既能生成仿真域的条件(拿它自己的预测当参考),也能生成真实域的视频。推理的时候,先根据初始观察和动作让模型预测出仿真潜在,把它固定住作为条件,再去生成真实视频。从头到尾只用这一个学生模型,不用另起一个仿真世界模型来跑。

打个比方。你要拍一部“未来城市”的电影,得先有概念图当视觉参考。路子有两条:一条是另请一位概念设计师专门来画,另一条是让摄影师自己随手勾几张草图,再照着草图去拍最终镜头。后者明显更省资源,草图不必多精细,方向对了就行。论文走的正是这条路:仿真参考不用完美,粗略即可。附录实验还发现,仿真生成步数从 1 步加到 20 步,对最终效果影响很小,1 步就足以给出“运动方向”。

接下来看数据。

在

表 1 动作条件视频预测(Bridge 验证集),列为模型、推理时间(秒)、PSNR↑ 等指标。

带具身预训练:IRASim 25.9秒 / 18.062 / 0.753 / 47.27 / 333.92 / 0.2102

带具身预训练:Cosmos-Predict2.5 20.5秒 / 27.216 / 0.880 / 23.74 / 119.38 / 0.0996

不带具身预训练:Ctrl-World 16.9秒 / 20.928 / 0.761 / 46.67 / 235.57 / 0.1674

不带具身预训练:EnerVerse-AC 16.6秒 / 22.599 / 0.797 / 28.67 / 181.55 / 0.0933

不带具身预训练:Wan2.2-TI2V-5B(SFT) 1.8秒 / 22.751 / 0.838 / 23.97 / 168.71 / 0.0926

不带具身预训练:GeniWorld 4.1秒 / 23.436 / 0.845 / 23.62 / 148.74 / 0.0799

在不带具身预训练的组别里,PSNR、

消融实验的结果更有看头。

表 2 组件消融(Bridge),各列依次为 ID、FM、TA、MD、SC、PSNR↑、SSIM↑ 等。

(a) ? ? ? ? 24.128 0.851 22.03 141.81 0.0751

(b) ? ? ? ? 24.523 0.854 21.52 134.56 0.0702

(c) ? ? ? ? 24.166 0.849 27.46 154.69 0.0768

(d) ? ? ? ? 24.310 0.852 19.18 100.27 0.0769

(e) ? ? ? ? 23.732 0.848 21.83 145.40 0.0772

(f) ? ? ? ? 25.077 0.858 25.21 137.49 0.0673

FM 指联合流匹配,TA 指轨迹增强,MD 指运动蒸馏,SC 指仿真条件。对比 (d) 和 (f):引入运动蒸馏后,FVD 由 141.81 降到 100.27;再把仿真条件叠上去,PSNR 和 SSIM 都达到最高。可见两个机制互相补位,一个负责运动在时间上的连贯,一个负责预测画面的视觉准确度。

这里有个反直觉的发现:加入仿真条件后,FID 不降反升,从 19.18 涨到 25.21。原因在于,模型要在“把动作做准”和“让画面贴近真实分布”之间做取舍。运动蒸馏把学生的注意力更多引向动作驱动的画面变化,代价是无关背景的统计真实性被牺牲掉一部分。这属于设计上的权衡,并非 bug。

最后看下游任务上的验证。

表 5

初始化一栏的对比先从五个维度看,依次是 Spatial、Object、Goal、Long 和平均。

只拿动作数据训练时,Wan2.2 基线在 Spatial 上是 88.0,Object 95.6,Goal 82.8,Long 64.0,平均 82.6。

同样只训动作,本论文的 WM 交出的成绩是 Spatial 89.4、Object 95.6、Goal 92.4、Long 79.2,平均 89.2,比基线高。

换成无条件训练,Wan2.2 的表现为 Spatial 96.4、Object 99.6、Goal 97.6、Long 92.2,平均 96.5。

无条件训练下,本论文 WM 拿到 Spatial 97.2、Object 99.8、Goal 98.0、Long 94.8,平均 97.5,同样实现反超。

视频加动作一起训练时,Wan2.2 的成绩是 Spatial 99.4、Object 98.2、Goal 98.8、Long 95.8,平均 98.1。

同一设置下,本论文 WM 为 Spatial 98.6、Object 99.8、Goal 97.8、Long 97.4,平均 98.4,仍略高一点。

另一种做法,是拿世界模型预训练得到的权重去初始化一个

"仅动作训练"这一组里有个细节需要单独拎出来:视频专家处于冻结状态,训练只发生在动作专家身上。换句话说,视觉表征好不好,全看预训练阶段,下游连一点微调的空间都没有。就在这种条件下,成功率仍能提高 6.6 点,可见预训练学到的视觉表征本身就带着对动作有用的信息,并非只学会了生成好看的画面。

写在后面

翻这篇论文的时候,有个细节把我卡住了。

它用

这倒让人想起一件挺反常识的事。过去我们总认为,要让 AI 看懂世界,信息给得越多越好——模态越丰富越好,细节越充分越好。可这项工作传出的信号正好相反:有些时候,主动丢信息才是要害。画风不要了,背景不要了,物体也不要了,只保留"关节怎么动",模型反倒学得更出色。

更根本的疑问随之而来:万一仿真和真实的差距大到某个程度,"只对齐运动"这套策略还站得住吗?论文采用的是

另有一处实验细节我还没完全琢磨透:论文里仿真生成步数从 1 步加到 20 步,最终结果受到的影响很小。作者的说法是"粗略的仿真参考就够了"。可为什么就够?是运动方向本身携带的信息量不大、用不着高分辨率,还是因为

也许真正的答案藏在

Q&A

Q1:SimForcing 到底是什么?

A1:这是北京大学团队提出的机器人世界模型框架。它的思路是先用仿真数据训出一个"老师"模型,再借助潜在运动蒸馏,把这位老师掌握的运动知识转移到真实域的学生模型上;同时引入可调节的引导机制,用来控制模型对仿真预测的依赖程度。

Q2:直接拿仿真数据训练真实视频模型,为什么行不通?

A2:仿真画面和真实画面在画风上差得太远,质感、光照、背景纹理都对不上。若直接做像素级对齐,模型会把力气花在模仿画风上,而非学习动作与画面变化之间的因果关系。论文因此只对齐相邻帧之间的差异,把画风干扰绕开。

Q3:SimForcing 对下游的机器人控制能带来什么实际帮助?

A3:用它预训练的世界模型权重去初始化

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AIE电子展2026:一展双城,诺奖得主与芯片掌门人同台聊什么?

    人工智能与制造业的关系,正在从“展示”走向“改造”。 过去两年,AI在产业端最直观的形象,是展台上会跳舞的人形机器人和能自动生成文案的模型。但当技术真正进入工厂、进入供应链、进入材料和芯片实验室,问题开始变得具体:算力够不够便宜、材料迭代跟不跟得上、AI的能耗由谁承担、芯片与整机如何协同升级。 这些问题的共同点是——没

    来源 AI 行业观察
  2. 马斯克:Optimus两月内演示真实交互,非剪辑高光

    《科创板日报》11月19日讯(编辑 宋子乔)日前在一场采访中,马斯克透露,特斯拉计划在未来两个月内,推出关于Optimus人形机器人的真实演示,展示其日常交互状态下的真实状态,而非经过精心剪辑的高光集锦。马斯克强调,本次演示主打“真实(authentic)”。意味着机器人不再局限于预先写死的单一任务流程、不依赖后台遥操

    来源 腾讯网
  3. 机器人ETF景顺159559:5项国标落地,标的指数行业分布均衡

    万得数据显示,截至11月17日,全市场共有57只机器人主题指数基金,其中56只月内净值走高。多只跟踪国证机器人产业指数的基金月内业绩表现优异。日前,广东省人民政府印发《数字广东建设“十五五”规划》,其中提到,做强高端机器人核心部件制造业。培育6G产业,加快新一代核心器件与网络通信设备产业化。推广工业机器人、服...

    来源 腾讯网
  4. 美国签证限制波及中国机器人企业,小鹏汽车参展CES或受影响

    【文/观察者网 张家栋 编辑/高莘】据《日经亚洲》11月19日报道,包括众擎机器人等在内的多家中国机器人企业,近期有研究人员和工程师遭到美国签证拒签。这一情况发生在2027年美国消费电子展(CES)开幕前夕,可能影响中国企业赴美参展的人员安排及现场展示。2026 CES众擎T800机器人展示众擎机器人官网报道称,受影响

    来源 腾讯网
  5. 智能眼镜1-10月销售额增1倍:商务部最新数据

    IT之家 11 月 20 日消息,11 月 19 日,商务部消费促进司负责人谈 2026 年 1-10 月我国消费市场情况。今年以来,我国消费市场规模稳步扩大,呈现商品消费稳、服务消费旺、新型消费热的特点。1-10 月,社会消费商品和服务零售总额同比(下同)增长 2.5%。 IT之家从公告获悉,在消费品以旧换新政策强有

    来源 AI 行业观察
  6. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  7. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  8. 马斯克:Optimus明年或能做家务,演示视频1至2个月内发布

    特斯拉CEO马斯克称,人形机器人Optimus研发进展较好,预计未来1至2个月内发布真实演示视频,并有望在12至18个月内具备收拾脏盘子、倒垃圾等家务能力。马斯克在赴中国深圳出席APEC峰会期间,以线上方式参加美国两场峰会访谈,介绍特斯拉机器人及芯片业务最新进展,并表示Optimus将逐步从研发测试走向应用。

    来源 AI 产业速递
  9. 世界模型杀入摄影圈:AI帮你换个机位重拍一张

    为了凑齐朋友圈的九宫格,一生爱出片的中国人不断添置设备、研究机位,有时还要搭上旅行的好心情。 与此同时,顶尖的科学家和资本正砸下几十亿美金,试图用“世界模型”教AI理解物理世界。 看似风马牛不相及的两件事,或许很快就要在同一个取景框里迎头相遇。 #01 世界模型,开始研究出片 一张照片拍完,还能换个机位吗?李飞飞创办的

    来源 AI 行业观察
  10. Google Genie4 API开放:付费开发者可实时交互并生成原生音频

    11月19日,Google通过Gemini API与AI Studio向付费开发者开放最新世界模型Genie4(models/genie-4)。此前一日,该模型已借Project Genie面向Google AI Ultra订阅用户推出。此次开放标志DeepMind首个可供第三方直接调用的实时世界模型落地,摆脱消费者订

    来源 AI 产业速递
  11. 黄仁勋卸任英伟达CEO:评级下调、数据威胁与AMD做空风波

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电对英伟达超额订单提出预付现金要求,AI芯片板块的风险预期快速升温。勒索软件组织G

    来源 腾讯网
  12. 谷歌Genie 4开放开发者:0.2秒操控延迟,6.05美元/分钟

    当地时间11月19日,谷歌正式向开发者开放世界模型Genie 4,开发者可通过Gemini API及Google AI Studio接入。该模型可生成720p、24fps的可交互世界与原生立体声音频,低延迟网络下键盘操控响应约0.2至0.5秒,视频输出按Token计费,成本约6.05美元/分钟。

    来源 凤凰科技
  13. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
向下滚动自动加载更多