RoboScience发布WorldFlow:原生3D动力学预测让机器人预判物体运动

资讯 腾讯网 作者:机器之心 全文 1806 字 · 约 5 分钟读完 分类模型发布世界模型机器人

近期,RoboScience 机器科学团队发布了全球首个原生 3D 动力学预测世界模型 WorldFlow —— 让机器人能够根据眼前的场景和任务指令理解操作意图,想象物体接下来在三维空间中该如何移动,从而为机器人操作提供更精准的物体运动预测。视频链接:https://mp.weixin.qq.com/s/nxr34C

所属频道 模型发布机器人与具身智能

近期,一个原生 3D 动力学预测世界模型亮相,它就是 RoboScience 团队推出的 WorldFlow。

视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ

人伸手去拿杯子时,大脑在那一刻已经推演完抓握、移动和放置的全过程。对物理世界的这种瞬间预判,构成了所有操作的根基。可机器人要想真正“想象”物理世界,眼下还卡在两道难关上。

  • 一类是视频生成模型。它们从海量视频里攒下了大量物理交互经验,能生成逼真的未来画面,但物体的三维运动藏在二维像素变化里,还得再借助额外手段才能提取出来。

  • 另一类是跳过视频生成、直接预测三维运动轨迹的做法。这条路虽然直接,却缺少物理世界的视觉信号,模型无法理解不同物理实体之间怎样接触、怎样交互,预测能力很难泛化。

团队因此重新琢磨:视频里那些丰富的视觉信息,能不能让模型直接理解和预测三维运动?

顺着这个思路,团队正式发布了世界模型 WorldFlow。

  • 论文:

  • 链接:https://arxiv.org/abs/2610.39278

  • 项目主页: https://worldflow-rbs.github.io/

原生 3D 动力学预测:

让机器人真正“预见”未来

WorldFlow 把三维运动当作与视频并列的一种独立生成模态。模型不再依赖先生成视频、再提取轨迹,而是在同一次生成过程中,同步预测未来画面和物体的三维运动。

输入观测画面、一句语言指令和目标物体,模型即可给出对应的预测结果。

二维画面与三维运动之间天然隔着鸿沟。为了让模型搞清楚哪个三维点的运动对应画面里的哪个像素,团队设计了两套互补的编码机制:三维点几何编码帮模型理解物体在三维空间中的位置和几何关系;时空位置编码则把运动轨迹与视频画面挂上钩,使模型能关联特定物体的运动和相关视觉区域。

在

下面是模型在家居场景中的真实场景推理结果:

百万多源样本预训练:

从海量数据中学习物理运动规律

团队用了 17 个数据源,构建出约 144 万条训练样本。每条样本既包含任务指令下的操作视频,也包含被操作物体在三维空间中的运动轨迹。这样一来,模型不光学习“画面该如何变化”,还同步学习“物体该如何移动”,从多样化的任务和场景中习得三维运动先验。

为了评估模型在机器人场景下的动力学预测效果,团队还搭建了一个基准测试,覆盖仿真场景、真实场景和空间认知场景。

消融实验论证:

联合生成为何更胜一筹?

引入视频监督,优于“单一的运动预测”

消融实验中,团队将 48.5%、19.8% 和 55.9%,FDE 分别降低 54.4%、25.7%、68.5%。

直接生成视频和运动轨迹,优于“先生成视频、再跟踪轨迹”

团队将 WorldFlow 与“先生成视频,再通过 42.0%、19.0% 和 27.7%,FDE 分别降低 46.0%、26.6% 和 43.5%。

从运动预测走向真实操作:

开启具身智能新范式

WorldFlow 的意义不只是把运动预测做得更准。它试着蹚出一条把世界模型和机器人操作接起来的新路子:拿物体的三维运动轨迹当接口,把任务意图变成机器人规划动作的依据。以“把绿色饼干盒放在半透明盒子上”这条指令为例,WorldFlow 先预测饼干盒往哪走、落在哪,机器人再结合自己的臂展、关节约束和抓取方式,算出能执行的动作。

视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ

视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ

真机实验里,团队拿当前领域内领先的运动预测模型做了对比,考察抓取、放置等三类能力。相较之下,相关指标从 25.0% 升到 97.2%,真机操作成功率则从 11.1% 提高到 66.7%。

这套做法让物体三维轨迹成了跨机器人本体的通用规划接口:任务相同,形态不同的机器人可以共用同一个物体运动目标,再靠各自的控制系统把操作完成。从“看见未来画面”到“预见三维运动”,WorldFlow 在模型与执行之间搭起更直接的连接,也给面向真实物理世界的通用具身智能探出一条新的技术路径。

关于团队

  • 鲁宇豪:WorldFlow 共一作者,清华电子系硕士毕业,当前在

  • 陈炯旭:WorldFlow 共一作者,中山大学智能工程学院硕士毕业,当前在

  • 王圣:RoboScience。 聚焦具身智能与世界模型,具有

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 机器人世界模型新方法:绕开画风差异,只对齐动作变化

    你大概见过这样的视频:机械臂在桌面上抓起一个杯子,动作丝滑得像人。可如果你把这段视频的真实来源翻出来,会发现它根本没在真桌子上拍过,而是模型"想"出来的未来。这件事在机器人研究里已经不算新鲜,真正让人头疼的是另一件:模型想出来的动作,到底靠不靠谱。先从一个具体的麻烦说起。假设你训练了一个视频世界模型,...

    来源 腾讯网
  2. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  3. 波士顿动力Atlas首进半导体:2027年初在格芯启动实地测试

    《科创板日报》11月19日讯(记者 王楚凡) 近日,现代汽车集团旗下机器人子公司波士顿动力公司(Boston Dynamics)宣布,将与半导体制造商格芯(GlobalFoundries)合作,对其人形机器人“Atlas”进行实地测试,并拓展其四足机器人“Spot”的应用范围。由此,格芯成为首个在汽车行业以外领域验证A

    来源 腾讯网
  4. AIE电子展2026:一展双城,诺奖得主与芯片掌门人同台聊什么?

    人工智能与制造业的关系,正在从“展示”走向“改造”。 过去两年,AI在产业端最直观的形象,是展台上会跳舞的人形机器人和能自动生成文案的模型。但当技术真正进入工厂、进入供应链、进入材料和芯片实验室,问题开始变得具体:算力够不够便宜、材料迭代跟不跟得上、AI的能耗由谁承担、芯片与整机如何协同升级。 这些问题的共同点是——没

    来源 AI 行业观察
  5. 深圳APEC:十余岗位机器人同开跑,具身智能交付时刻到了?

    本报(chinatimes.net.cn)记者胡梦然 深圳摄影报道2026年APEC“中国年”,深圳站到了全球聚光灯下。11月18日至19日,亚太经合组织第三十三次领导人非正式会议在深圳举行,会议主题为“建设亚太共同体,促进共同繁荣”。会议周期间,宇树科技、智元机器人、智动未来、众擎机器人、智平方、乐聚等中国具身智能企

    来源 腾讯网
  6. Anthropic CEO敲响纳斯达克:AI发展不能只踩油门

    在纳斯达克开市钟仪式上,Anthropic首席执行官达里奥·阿莫代重申公司对“控制AI发展节奏”的承诺,强调无论面临商业诱惑还是政治压力,都不会为抢先发布而牺牲安全评估。这一表态出现在前沿模型竞赛白热化、华盛顿监管博弈升温的节点上,被解读为对“加速主义”的一次公开回应。

    来源 AI 科技快讯
  7. 机器人ETF景顺159559:5项国标落地,标的指数行业分布均衡

    万得数据显示,截至11月17日,全市场共有57只机器人主题指数基金,其中56只月内净值走高。多只跟踪国证机器人产业指数的基金月内业绩表现优异。日前,广东省人民政府印发《数字广东建设“十五五”规划》,其中提到,做强高端机器人核心部件制造业。培育6G产业,加快新一代核心器件与网络通信设备产业化。推广工业机器人、服...

    来源 腾讯网
  8. OpenAI用GPT-4o改芯片电路,AMD旗舰GPU能效最高提14%

    OpenAI 当地时间 18 日发布技术报告,披露 AI 辅助芯片设计进展。自研推理芯片 Jalapeño 2025 年初就交给 GPT-4o 打下手:模型重写浮点加法器、乘法器等电路,新乘法器综合后面积减约 15%、延迟压到一个时钟周期;合计向量计算单元面积减约 13%,矩阵计算单元减约 10%,

    来源 AI 开发者社区
  9. 「赛博爱豆」要来了?宇树科技将牵手韩国公司,打造机器人女团

    11月19日消息,机器人要正式出道了。小雷哔哔(ID:xiaoleibbb)留意到,韩国娱乐公司Galaxy Corporation将牵手宇树科技,搞一个正经的机器人K-pop女团,要把演唱会开到全球各地。网上有一个说法非常贴切:中国造硬件,韩国出内容。宇树科技是国产人形机器人的头部玩家,负责提供机器人本体、运动控制技

    来源 腾讯网
  10. 美国签证限制波及中国机器人企业,小鹏汽车参展CES或受影响

    【文/观察者网 张家栋 编辑/高莘】据《日经亚洲》11月19日报道,包括众擎机器人等在内的多家中国机器人企业,近期有研究人员和工程师遭到美国签证拒签。这一情况发生在2027年美国消费电子展(CES)开幕前夕,可能影响中国企业赴美参展的人员安排及现场展示。2026 CES众擎T800机器人展示众擎机器人官网报道称,受影响

    来源 腾讯网
  11. 智能眼镜1-10月销售额增1倍:商务部最新数据

    IT之家 11 月 20 日消息,11 月 19 日,商务部消费促进司负责人谈 2026 年 1-10 月我国消费市场情况。今年以来,我国消费市场规模稳步扩大,呈现商品消费稳、服务消费旺、新型消费热的特点。1-10 月,社会消费商品和服务零售总额同比(下同)增长 2.5%。 IT之家从公告获悉,在消费品以旧换新政策强有

    来源 AI 行业观察
  12. OpenAI公开安全政策:两次险情逼停最强模型训练11天

    OpenAI 昨天(18 日)发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次系统披露研发、内部使用到公开全周期的风险管控。两起险情摆上台面:7 月的“Hugging Face 事件”证明光靠沙盒隔离关不住高能力模型;9 月 20 日,一个在训研究模型又借 DNS 配置漏洞绕过隔离、摸到

    来源 AI 开发者社区
  13. 马斯克:Optimus明年有望干家务,12至18个月见分晓

    特斯拉CEO埃隆·马斯克表示,人形机器人Optimus研发已取得较好进展,预计将在未来1至2个月内发布真实演示视频,并有望在未来12至18个月内具备收拾脏盘子、倒垃圾等家务能力。 据报道,马斯克在抵达中国深圳出席APEC峰会期间,通过线上视频方式参加了在美国举行的两场峰会,并在相关访谈中介绍了特斯拉

    来源 AI 开发者社区
  14. 马斯克:Optimus明年或能做家务,演示视频1至2个月内发布

    特斯拉CEO马斯克称,人形机器人Optimus研发进展较好,预计未来1至2个月内发布真实演示视频,并有望在12至18个月内具备收拾脏盘子、倒垃圾等家务能力。马斯克在赴中国深圳出席APEC峰会期间,以线上方式参加美国两场峰会访谈,介绍特斯拉机器人及芯片业务最新进展,并表示Optimus将逐步从研发测试走向应用。

    来源 AI 产业速递
向下滚动自动加载更多