RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?
全球首个原生3D动力学预测世界模型,RoboScience为机器人操作...
RoboScience 机器科学团队近日推出 WorldFlow,称其为全球首个原生 3D 动力学预测世界模型。按团队说法,该模型能结合眼前场景与任务指令理解操作意图,推演物体在三维空间中的后续运动,为机器人操作给出更准确的物体运动预测。
▶ 本文含视频,请点上方「查看原文」在来源页观看。人伸手去拿杯子时,抓握、移动、放置这一连串动作,大脑在那一刻已经推演完毕。对物理世界的这种瞬时预判,正是所有操作的根基。但机器人要想真正“想象”物理世界,还有两道坎:
-
一类是视频生成模型。它们从海量视频里学到了不少物理交互经验,能生成逼真的未来画面;问题在于物体的三维运动藏在二维像素变化之中,还得靠几何重建、运动跟踪等手段把物理信息提取出来,累积误差也就难以避免。
-
另一类是绕开视频生成、直接预测三维运动轨迹。路子是直接,可缺少物理世界的视觉信号,模型读不懂不同物理实体之间如何接触、如何交互,预测能力很难泛化。
团队因此重新琢磨:视频里那么多视觉信息,能不能让模型直接理解和预测三维运动?
沿着这个思路,团队正式发布世界模型 WorldFlow。模型在真实世界和仿真场景中学习预测三维物理世界的运动,试图解开视觉表征与三维运动相互割裂的结,让机器人操作拿到更准确的三维动力学预测。
-
论文:WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
-
链接:https://arxiv.org/abs/2610.39278
-
项目主页: https://worldflow-rbs.github.io/
原生 3D 动力学预测,目的是让机器人真正“预见”未来。
WorldFlow 的关键做法,是把三维运动当成与视频并行的另一种生成模态。模型不必先生成视频再从中提取轨迹,而是在同一次生成里,把未来画面和物体的三维运动一起预测出来。
只要给它观测画面、一句语言指令和目标物体,WorldFlow 便能同时预测未来视频与目标物体的三维轨迹。论文里的例子是“拿起黑色拖鞋,放到鞋架第三层”:拖鞋被拿起、移动、放上鞋架的画面可以预演,拖鞋上各个点在三维空间里怎么走、最后落在哪里,也能直接给出。
二维画面和三维运动之间本来就有落差。团队为此设计了两套互补的编码机制,让模型知道哪个三维点的运动对应画面里的哪个像素。其中,三维点几何编码帮模型理解物体在三维空间中的位置和几何关系;时空位置编码则把运动轨迹与视频画面挂上钩,使特定物体的运动能对应到相关视觉区域。
在 Mixture of Transformer(MoT)架构里,视频和运动借助双向注意力互换信息,并在统一的生成过程中一起去噪。视频给出物体外观、接触、遮挡这类视觉线索,三维运动则提供空间位移信息。
下面是模型在家居场景中的真实场景推理结果:
|
|
|
|
|
|
百万多源样本预训练,让模型从海量数据中学习物理运动规律。
为让 WorldFlow 掌握丰富的物体运动规律,团队搭了一套数据管线,把仿真场景、机器人操作场景和人类操作场景的 17 个数据源整合起来,建成约 144 万条训练样本。每条样本里既有任务指令下的操作视频,也有被操作物体在三维空间中的运动轨迹。这样一来,模型既学“画面该怎么变”,也同步学“物体该怎么动”,从多样化任务和场景中积累三维运动先验。
为了检验模型在机器人场景中的动力学预测表现,团队搭建了基准测试 WorldFlowBench,覆盖仿真、真实与空间认知三类场景,并用平均位移误差(ADE)和终点位移误差(FDE)两项指标衡量轨迹预测的准确度。
消融实验做了哪些对比?联合生成又为什么更强?团队先看引入视频监督与只做单一运动预测之间的差别。
实验中,WorldFlow 与仅预测三维运动的模型变体放在一起比较,网络架构、训练数据和超参设置全部相同,唯一区别是有没有引入视频生成。结果显示,视频监督信号对三维运动预测有明显帮助:仿真、真实和空间认知三类场景下,ADE 分别下降 48.5%、19.8% 和 55.9%,FDE 分别下降 54.4%、25.7% 和 68.5%。
另一组对比针对“先生成视频、再跟踪轨迹”的两阶段路线。团队把 WorldFlow 与这类方案放在一起,后者借助 Track4World 或 4RC 等方法跟踪三维轨迹。以 Track4World 为例,WorldFlow 在仿真、真实和空间认知场景下的 ADE 分别降低 42.0%、19.0% 和 27.7%,FDE 分别降低 46.0%、26.6% 和 43.5%。直接生成视频和运动轨迹,效果要好于先出视频再回头跟踪。
从运动预测走向真实操作,这条路径打开的是具身智能的一种新做法。
在团队看来,WorldFlow 的意义不止于把运动预测精度做高,它还试出了一条连接世界模型与机器人操作的新路子:以物体的三维运动轨迹作为接口,把任务意图转成机器人操作的规划依据。比方说指令是“把绿色饼干盒放在半透明盒子上”,WorldFlow 能预测饼干盒的三维移动轨迹和目标落点,机器人再结合自身臂展、关节约束与抓取方式,规划出可以执行的动作。
▶ 本文含视频,请点上方「查看原文」在来源页观看。
真机实验环节,团队拿 μ₀ 和 WorldFlow 做了对照,后者是当前领域里运动预测表现领先的模型。12 项任务覆盖抓取放置(Pick and Place)、物体堆叠(Stacking)与空间理解(Relative Placement)三类能力。两者共用同一套抓取与控制系统,结果显示 WorldFlow 生成正确轨迹的概率达到 97.2%,μ₀ 为 25.0%;真机操作成功率方面,WorldFlow 为 66.7%,μ₀ 只有 11.1%。
这套做法把物体的三维轨迹变成了一个能跨机器人本体使用的通用规划接口。任务相同,形态不同的机器人可以共用同一个物体运动目标,再各自用自己的控制系统把动作执行出来。从“看见未来画面”走到“预见三维运动”,WorldFlow 让世界模型和机器人执行之间接得更直接,也给面向真实物理世界的通用具身智能趟出了一条新的技术路线。
关于团队
-
Dimen Lu 是 WorldFlow 共一作者,清华电子系硕士毕业,现在在 RoboScience 机器科学做世界模型相关工作。
-
Alex Chen 同为 WorldFlow 共一作者,中山大学智能工程学院硕士毕业,目前在 RoboScience 机器科学从事世界模型相关工作。
-
Sean Wang 担任 RoboScience 机器科学世界模型团队负责人、WorldFlow 项目负责人,香港科技大学博士。他的研究方向集中在具身智能与世界模型,有视觉语言动作(VLA)模型和端到端自动驾驶的研究背景。





