RoboScience发布WorldFlow:原生3D动力学预测让机器人预判物体运动
近期,RoboScience 机器科学团队发布了全球首个原生 3D 动力学预测世界模型 WorldFlow —— 让机器人能够根据眼前的场景和任务指令理解操作意图,想象物体接下来在三维空间中该如何移动,从而为机器人操作提供更精准的物体运动预测。视频链接:https://mp.weixin.qq.com/s/nxr34C
近期,一个原生 3D 动力学预测世界模型亮相,它就是 RoboScience 团队推出的 WorldFlow。
视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ
人伸手去拿杯子时,大脑在那一刻已经推演完抓握、移动和放置的全过程。对物理世界的这种瞬间预判,构成了所有操作的根基。可机器人要想真正“想象”物理世界,眼下还卡在两道难关上。
一类是视频生成模型。它们从海量视频里攒下了大量物理交互经验,能生成逼真的未来画面,但物体的三维运动藏在二维像素变化里,还得再借助额外手段才能提取出来。
另一类是跳过视频生成、直接预测三维运动轨迹的做法。这条路虽然直接,却缺少物理世界的视觉信号,模型无法理解不同物理实体之间怎样接触、怎样交互,预测能力很难泛化。
团队因此重新琢磨:视频里那些丰富的视觉信息,能不能让模型直接理解和预测三维运动?
顺着这个思路,团队正式发布了世界模型 WorldFlow。
论文:
链接:https://arxiv.org/abs/2610.39278
项目主页: https://worldflow-rbs.github.io/
原生 3D 动力学预测:
让机器人真正“预见”未来
WorldFlow 把三维运动当作与视频并列的一种独立生成模态。模型不再依赖先生成视频、再提取轨迹,而是在同一次生成过程中,同步预测未来画面和物体的三维运动。
输入观测画面、一句语言指令和目标物体,模型即可给出对应的预测结果。
二维画面与三维运动之间天然隔着鸿沟。为了让模型搞清楚哪个三维点的运动对应画面里的哪个像素,团队设计了两套互补的编码机制:三维点几何编码帮模型理解物体在三维空间中的位置和几何关系;时空位置编码则把运动轨迹与视频画面挂上钩,使模型能关联特定物体的运动和相关视觉区域。
在
下面是模型在家居场景中的真实场景推理结果:
百万多源样本预训练:
从海量数据中学习物理运动规律
团队用了 17 个数据源,构建出约 144 万条训练样本。每条样本既包含任务指令下的操作视频,也包含被操作物体在三维空间中的运动轨迹。这样一来,模型不光学习“画面该如何变化”,还同步学习“物体该如何移动”,从多样化的任务和场景中习得三维运动先验。
为了评估模型在机器人场景下的动力学预测效果,团队还搭建了一个基准测试,覆盖仿真场景、真实场景和空间认知场景。
消融实验论证:
联合生成为何更胜一筹?
引入视频监督,优于“单一的运动预测”
消融实验中,团队将 48.5%、19.8% 和 55.9%,FDE 分别降低 54.4%、25.7%、68.5%。
直接生成视频和运动轨迹,优于“先生成视频、再跟踪轨迹”
团队将 WorldFlow 与“先生成视频,再通过 42.0%、19.0% 和 27.7%,FDE 分别降低 46.0%、26.6% 和 43.5%。
从运动预测走向真实操作:
开启具身智能新范式
WorldFlow 的意义不只是把运动预测做得更准。它试着蹚出一条把世界模型和机器人操作接起来的新路子:拿物体的三维运动轨迹当接口,把任务意图变成机器人规划动作的依据。以“把绿色饼干盒放在半透明盒子上”这条指令为例,WorldFlow 先预测饼干盒往哪走、落在哪,机器人再结合自己的臂展、关节约束和抓取方式,算出能执行的动作。
视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ
视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ
真机实验里,团队拿当前领域内领先的运动预测模型做了对比,考察抓取、放置等三类能力。相较之下,相关指标从 25.0% 升到 97.2%,真机操作成功率则从 11.1% 提高到 66.7%。
这套做法让物体三维轨迹成了跨机器人本体的通用规划接口:任务相同,形态不同的机器人可以共用同一个物体运动目标,再靠各自的控制系统把操作完成。从“看见未来画面”到“预见三维运动”,WorldFlow 在模型与执行之间搭起更直接的连接,也给面向真实物理世界的通用具身智能探出一条新的技术路径。
关于团队
鲁宇豪:WorldFlow 共一作者,清华电子系硕士毕业,当前在
陈炯旭:WorldFlow 共一作者,中山大学智能工程学院硕士毕业,当前在
王圣:RoboScience。 聚焦具身智能与世界模型,具有