RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?

资讯 AI 行业观察 全文 2849 字 · 约 8 分钟读完 配图 12 张 分类世界模型机器人

全球首个原生3D动力学预测世界模型,RoboScience为机器人操作...

所属频道 模型发布机器人与具身智能
RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 1)


RoboScience 机器科学团队近日推出 WorldFlow,称其为全球首个原生 3D 动力学预测世界模型。按团队说法,该模型能结合眼前场景与任务指令理解操作意图,推演物体在三维空间中的后续运动,为机器人操作给出更准确的物体运动预测。


▶ 本文含视频,请点上方「查看原文」在来源页观看。人伸手去拿杯子时,抓握、移动、放置这一连串动作,大脑在那一刻已经推演完毕。对物理世界的这种瞬时预判,正是所有操作的根基。但机器人要想真正“想象”物理世界,还有两道坎:



  • 一类是视频生成模型。它们从海量视频里学到了不少物理交互经验,能生成逼真的未来画面;问题在于物体的三维运动藏在二维像素变化之中,还得靠几何重建、运动跟踪等手段把物理信息提取出来,累积误差也就难以避免。

  • 另一类是绕开视频生成、直接预测三维运动轨迹。路子是直接,可缺少物理世界的视觉信号,模型读不懂不同物理实体之间如何接触、如何交互,预测能力很难泛化。


团队因此重新琢磨:视频里那么多视觉信息,能不能让模型直接理解和预测三维运动?


沿着这个思路,团队正式发布世界模型 WorldFlow。模型在真实世界和仿真场景中学习预测三维物理世界的运动,试图解开视觉表征与三维运动相互割裂的结,让机器人操作拿到更准确的三维动力学预测。


RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 2)


  • 论文:WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining

  • 链接:https://arxiv.org/abs/2610.39278

  • 项目主页: https://worldflow-rbs.github.io/


原生 3D 动力学预测,目的是让机器人真正“预见”未来。


WorldFlow 的关键做法,是把三维运动当成与视频并行的另一种生成模态。模型不必先生成视频再从中提取轨迹,而是在同一次生成里,把未来画面和物体的三维运动一起预测出来。


只要给它观测画面、一句语言指令和目标物体,WorldFlow 便能同时预测未来视频与目标物体的三维轨迹。论文里的例子是“拿起黑色拖鞋,放到鞋架第三层”:拖鞋被拿起、移动、放上鞋架的画面可以预演,拖鞋上各个点在三维空间里怎么走、最后落在哪里,也能直接给出。


RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 3)


二维画面和三维运动之间本来就有落差。团队为此设计了两套互补的编码机制,让模型知道哪个三维点的运动对应画面里的哪个像素。其中,三维点几何编码帮模型理解物体在三维空间中的位置和几何关系;时空位置编码则把运动轨迹与视频画面挂上钩,使特定物体的运动能对应到相关视觉区域。


在 Mixture of Transformer(MoT)架构里,视频和运动借助双向注意力互换信息,并在统一的生成过程中一起去噪。视频给出物体外观、接触、遮挡这类视觉线索,三维运动则提供空间位移信息。


下面是模型在家居场景中的真实场景推理结果:


RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 4)
RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 5)
RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 6)
RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 7)
RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 8)
RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 9)


百万多源样本预训练,让模型从海量数据中学习物理运动规律。


为让 WorldFlow 掌握丰富的物体运动规律,团队搭了一套数据管线,把仿真场景、机器人操作场景和人类操作场景的 17 个数据源整合起来,建成约 144 万条训练样本。每条样本里既有任务指令下的操作视频,也有被操作物体在三维空间中的运动轨迹。这样一来,模型既学“画面该怎么变”,也同步学“物体该怎么动”,从多样化任务和场景中积累三维运动先验。


为了检验模型在机器人场景中的动力学预测表现,团队搭建了基准测试 WorldFlowBench,覆盖仿真、真实与空间认知三类场景,并用平均位移误差(ADE)和终点位移误差(FDE)两项指标衡量轨迹预测的准确度。


消融实验做了哪些对比?联合生成又为什么更强?团队先看引入视频监督与只做单一运动预测之间的差别。


实验中,WorldFlow 与仅预测三维运动的模型变体放在一起比较,网络架构、训练数据和超参设置全部相同,唯一区别是有没有引入视频生成。结果显示,视频监督信号对三维运动预测有明显帮助:仿真、真实和空间认知三类场景下,ADE 分别下降 48.5%、19.8% 和 55.9%,FDE 分别下降 54.4%、25.7% 和 68.5%。



RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 10)


另一组对比针对“先生成视频、再跟踪轨迹”的两阶段路线。团队把 WorldFlow 与这类方案放在一起,后者借助 Track4World 或 4RC 等方法跟踪三维轨迹。以 Track4World 为例,WorldFlow 在仿真、真实和空间认知场景下的 ADE 分别降低 42.0%、19.0% 和 27.7%,FDE 分别降低 46.0%、26.6% 和 43.5%。直接生成视频和运动轨迹,效果要好于先出视频再回头跟踪。



RoboScience WorldFlow:原生3D动力学预测,如何推演物体运动?(配图 11)


从运动预测走向真实操作,这条路径打开的是具身智能的一种新做法。


在团队看来,WorldFlow 的意义不止于把运动预测精度做高,它还试出了一条连接世界模型与机器人操作的新路子:以物体的三维运动轨迹作为接口,把任务意图转成机器人操作的规划依据。比方说指令是“把绿色饼干盒放在半透明盒子上”,WorldFlow 能预测饼干盒的三维移动轨迹和目标落点,机器人再结合自身臂展、关节约束与抓取方式,规划出可以执行的动作。


▶ 本文含视频,请点上方「查看原文」在来源页观看。


真机实验环节,团队拿 μ₀ 和 WorldFlow 做了对照,后者是当前领域里运动预测表现领先的模型。12 项任务覆盖抓取放置(Pick and Place)、物体堆叠(Stacking)与空间理解(Relative Placement)三类能力。两者共用同一套抓取与控制系统,结果显示 WorldFlow 生成正确轨迹的概率达到 97.2%,μ₀ 为 25.0%;真机操作成功率方面,WorldFlow 为 66.7%,μ₀ 只有 11.1%。


这套做法把物体的三维轨迹变成了一个能跨机器人本体使用的通用规划接口。任务相同,形态不同的机器人可以共用同一个物体运动目标,再各自用自己的控制系统把动作执行出来。从“看见未来画面”走到“预见三维运动”,WorldFlow 让世界模型和机器人执行之间接得更直接,也给面向真实物理世界的通用具身智能趟出了一条新的技术路线。


关于团队


  • Dimen Lu 是 WorldFlow 共一作者,清华电子系硕士毕业,现在在 RoboScience 机器科学做世界模型相关工作。

  • Alex Chen 同为 WorldFlow 共一作者,中山大学智能工程学院硕士毕业,目前在 RoboScience 机器科学从事世界模型相关工作。

  • Sean Wang 担任 RoboScience 机器科学世界模型团队负责人、WorldFlow 项目负责人,香港科技大学博士。他的研究方向集中在具身智能与世界模型,有视觉语言动作(VLA)模型和端到端自动驾驶的研究背景。


图片



本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 机器人世界模型新方法:绕开画风差异,只对齐动作变化

    你大概见过这样的视频:机械臂在桌面上抓起一个杯子,动作丝滑得像人。可如果你把这段视频的真实来源翻出来,会发现它根本没在真桌子上拍过,而是模型"想"出来的未来。这件事在机器人研究里已经不算新鲜,真正让人头疼的是另一件:模型想出来的动作,到底靠不靠谱。先从一个具体的麻烦说起。假设你训练了一个视频世界模型,...

    来源 腾讯网
  2. 当3D建模变成了写代码这件事

    你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?

    来源 网易科技
  3. 估值200亿机器人公司,发不出工资了

    一家正在冲击30亿美元估值的人形机器人公司,连工资都发不出来了。 11月14日,CNBC披露,美国明星机器人公司Foundation Future Industries陷入资金危机,10月30日应发的工资迟迟没有到账。这已经是公司今年第二次欠薪。 Foundation虽然成立仅两年,但拿下川普之子的投资,并联手AMD研

    来源 AI 行业观察
  4. 36氪WISE2026「Re:Frame再定义」再定义者名单揭晓,11月28日登台

    行业的下一步,往往藏在对“理所当然”的重新追问里:AI能否从回答问题走向参与工作?机器人如何成为真正的生产力?产品能否突破材料与形态的限制?日常消费是否还有更简单、更可持续的解决方式? 36氪WISE2026商业之王特别策划「Re:Frame再定义」,围绕重构问题、重构供给、重构连接与重构价值,寻找正在推动改变的人、公

    来源 AI 行业观察
  5. 阿莫迪:AI领路人

    美国时间11月19日,Anthropic正式登陆纳斯达克,以“ANT”为股票代码挂牌,创下了全球史上最大规模IPO纪录。 就在上市前一天,Anthropic将发行价定在每股83美元,并将发行数量从8.25亿股增加到9.8亿股,最终公开发行规模达到813.4亿美元。 按发行价计算,这家成立不到六年的AI公司,完全稀释估值

    来源 AI 行业观察
  6. Google Genie4 API开放:付费开发者可实时交互并生成原生音频

    11月19日,Google通过Gemini API与AI Studio向付费开发者开放最新世界模型Genie4(models/genie-4)。此前一日,该模型已借Project Genie面向Google AI Ultra订阅用户推出。此次开放标志DeepMind首个可供第三方直接调用的实时世界模型落地,摆脱消费者订

    来源 AI 产业速递
  7. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  8. 人形机器人产业链上游先赚钱:整机厂还在爬坡,零部件厂已满产交货

    (本文作者为 摩根商研所,钛媒体经授权发布)文 | 摩根商研所想淘金,先买铲。当新产业兴起之时,最先赚钱的,往往是“卖铲子”的。具身智能行业也是一样。根据商务部发布的数据,今年前三季度,重点平台具身智能机器人销售额同比增长22.6%。国庆假期期间增色更猛,10月1日到6日,重点平台具身智能机器人销售额同比暴增1....

    来源 腾讯网
  9. 马斯克:Optimus明年或能做家务,演示视频1至2个月内发布

    特斯拉CEO马斯克称,人形机器人Optimus研发进展较好,预计未来1至2个月内发布真实演示视频,并有望在12至18个月内具备收拾脏盘子、倒垃圾等家务能力。马斯克在赴中国深圳出席APEC峰会期间,以线上方式参加美国两场峰会访谈,介绍特斯拉机器人及芯片业务最新进展,并表示Optimus将逐步从研发测试走向应用。

    来源 AI 产业速递
  10. 谷歌Genie 4开放开发者:0.2秒操控延迟,6.05美元/分钟

    当地时间11月19日,谷歌正式向开发者开放世界模型Genie 4,开发者可通过Gemini API及Google AI Studio接入。该模型可生成720p、24fps的可交互世界与原生立体声音频,低延迟网络下键盘操控响应约0.2至0.5秒,视频输出按Token计费,成本约6.05美元/分钟。

    来源 凤凰科技
  11. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
向下滚动自动加载更多