英伟达、百度、宇树等32个世界模型:物理AI如何完成感知决策行动?
让机器人拿起一只杯子,它要解决的问题远比识别物体多:杯子在哪里,机械臂从哪个方向伸过去,夹爪什么时候合拢,移动过程中会不会碰到桌沿。无人车经过路口时,也要判断:如果现在加速,旁边的车和行人接下来会怎样行动。 这类需要在现实环境中感知、决策和行动的AI,通常被称为物理AI。人形机器人、自动驾驶汽车、机械臂和无人机,都是它
机器人要拿起一只杯子,光识别出物体远远不够。杯子在什么位置,机械臂该从哪个方向伸过去,夹爪何时合拢,移动途中会不会蹭到桌沿——这些都是它得先解决的问题。无人车驶近路口同样如此:此刻若加速,旁边的车辆和行人下一步会怎么走,系统也要作出判断。
在现实环境里完成感知、决策和行动,这类AI通常被叫作物理AI。人形机器人、自动驾驶汽车、机械臂、无人机都是它的载体。重量、惯性、摩擦、碰撞,每一项都直接关系到任务能不能做成。
世界模型的作用是帮AI预测环境变化。可以把它看成系统内部一个靠数据学出来的模拟器:接收当前观察,结合动作等条件,推演接下来可能发生什么,为规划、训练和评测提供依据。
还是以拿杯子为例。模型会尝试预测:机械臂沿某条轨迹走,能不能靠近杯子;夹爪抬起后,杯子会不会跟着动,有没有滑落的可能。候选动作对应的未来结果交给规划系统比较,就有机会在真正执行之前筛掉不合适的方案。
预测的输出形式并不统一。有的模型直接生成未来视频,有的搭出可探索的三维场景,还有的在压缩后的抽象特征里表示环境变化。研究者的考察重点也随之不同:画面与空间是否一致、动作带来了什么变化、预测能不能帮系统作出更好的决定。
训练经验也能由世界模型提供。机器人可以在模型生成的环境里反复试错,研究者可以造出难以采集的任务数据,或者在部署前评估策略。还有团队把未来预测和动作生成放在一起训练,让模型同时学两件事:环境怎么变,机器人怎么动。
限制同样具体。物体可能在交互中变形甚至消失,碰撞和滑动可能模拟失准,连续预测还会累积误差。所以一项成果有多大应用价值,得看它对真实任务的实际帮助、适用范围和运行成本。
2026年11月3日,百度首次披露Apollo World,让无人车在虚拟城市中跑完连续行程;一周前,谷歌DeepMind发布Genie 4,用户探索环境时可以改变天气、加入人物。世界模型的研究,正分别在机器人控制、自动驾驶仿真、交互环境生成几个方向推进。
下面综合技术代表性、公开实验、应用进展与生态影响,选出32个模型及研究体系,其中有代表性的早期研究也在内。序号只用于罗列,不代表跨任务性能排名,资料截至2026年11月4日。
01 英伟达Cosmos 3:世界预测、推理与动作生成被放进同一体系
2026年6月1日,英伟达发布Cosmos 3。这一代采用混合Transformer架构,把视觉推理、世界生成和动作预测合到一起,能处理并生成文字、图像、视频、环境声音及动作信息。
它面向机器人、自动驾驶和工业视觉开发者:既能预测环境下一步怎么变,也能生成训练与评测数据,还可作为世界动作模型的基础。英伟达已提供Super、Nano等版本以及开放模型资源。Cosmos的布局覆盖模型、数据处理和部署工具,开发者围绕同一体系就能完成多项物理AI工作。
02 谷歌DeepMind Genie 4:随操作持续演化的交互世界
2026年10月27日,谷歌DeepMind发布Genie 4。生成过程中,用户可以移动视角、改变天气、加入人物和物体,模型会继续推演场景变化,环境声音、音乐和对话也同步生成。
Genie 4引入了Gemini系列能力,画面、行为和场景连续性都有改善。它可用于机器人与智能体训练环境,也能做交互内容创作。发布时,模型以研究预览形式向受信任测试者开放。持续生成、实时干预环境的能力已经展示出来,但机器人训练效果如何,还得在具体任务中评估。
03 Meta V-JEPA 2 / 2.1:在抽象特征中预测物理世界
Meta于2025年6月发布V-JEPA 2,2026年3月又发布V-JEPA 2.1。该系列把视频编码成抽象特征,学习物体运动和场景变化,再用预测结果辅助规划,从而减少对逐像素生成画面的依赖。
V-JEPA 2先用超过100万小时视频等数据做预训练,随后加入机器人动作数据,开展抓取与放置实验。2.1版本重点改善局部空间特征、深度理解和时间一致性,并用于机械臂规划与导航研究。代码和模型已经公开,它代表了预测式视觉表征这条世界模型路线。
04 World Labs Atlas:把图像、视频和三维空间连起来
2026年9月1日,World Labs发布Atlas。模型原生处理文字、图像、视频与三维信息,把输入组织进共享空间上下文,用来生成新视角、重建场景和模拟时空变化。
Atlas 支持输入一张或几张图片,既可以输出显式三维结果,也能生成从指定相机位置看到的画面。公司演示了一段最长约一分钟的 1440p 相机控制视频,还展示了把真实场景转成仿真、供机器人使用的流程。后续 Marble 等产品会由 Atlas 支撑,发布时会开放早期体验申请。空间生成、重建和仿真场景建设,是它主要的落点。
05 Odyssey-3:从世界仿真延伸到机械臂和车辆实验
Odyssey于2026年10月8日发布Odyssey-3。模型采用自回归扩散Transformer,依据此前观察和最新输入,预测物体如何运动、如何相互作用,以及场景怎样继续演化。
除了实时交互环境,公司还展示了机械臂操作、人形机器人和车辆控制实验。比如在冻结世界模型主干的情况下,用20小时驾驶数据训练驾驶策略,在印度真实道路上做闭环实验。这些结果展示了世界模型适配不同硬件的路径。Odyssey-3目前提供研究预览,相关能力来自公司披露的实验。
06 Runway GWM系列与Praxis-1:交互仿真之外,还伸向机器人操作
Runway的GWM-1家族分三块:可探索环境、虚拟角色和机器人操作。GWM Robotics按机器人动作生成未来的交互画面,支持多视角、长上下文,用在策略评测、合成数据扩充上,也充当机器人策略的视觉基础。
2026年9月,Runway又公布了世界动作模型Praxis-1,把视频预训练搬到真实机器人控制里。发布时它还在与早期合作伙伴测试,公开权重属于后续计划。同月推出的GWM Worlds 2瞄准实时视听交互环境,可提供720p、每秒24帧的连续生成。
07 Waymo World Model:把摄像头和激光雷达看到的世界一起生成出来
2026年2月6日,Waymo公开Waymo World Model。该模型以Genie 3为基础,针对自动驾驶场景做了适配,摄像头画面和激光雷达数据能同时生成。
工程师可调的包括驾驶动作、道路布局和文字指令,用来模拟逆行车辆、积水、极端天气这类少见场景;也能从同一段真实记录出发,看换成另一条行驶路线会怎样。这套模型服务于Waymo的自动驾驶仿真体系,重点是补上道路采集难以覆盖的测试情况。
08 Wayve GAIA-4:驾驶模型做出决定,后续仿真跟着变
Wayve在2026年8月3日发布GAIA-4。它从真实传感器记录搭出仿真起点,把驾驶模型接进闭环:车辆一旦选择刹车或转向,之后收到的视角和传感器信息就会随之改变。
GAIA-4支持一种评测方式,保留其他交通参与者的原始轨迹,方便复现安全关键事件;它也能让交通参与者对自车行为作出反应,用来研究并线等互动场景。Wayve拿它分析安全员接管事件、复测模型更新,并比较同一场景下不同驾驶决策会带来什么后果。
09 Waabi Copilot4D:直接预测三维点云的下一步
Copilot4D是Waabi公开的四维世界模型研究,发表在ICLR 2024。它把激光雷达点云转成离散表征,用扩散模型预测未来的观测,从中学习道路环境在三维空间和时间里的变化。
模型可以拿候选驾驶动作当条件,推演不同动作之后环境会变成什么样。比如自车急刹,后方车辆可能怎么响应。团队在nuScenes、KITTI及Argoverse 2等数据集上做了测试。这项研究给出了一条用传感器数据学习物理动态的路子,也让自动驾驶世界建模覆盖到视频之外的观测形式。
10 1XWM:先出任务视频,再转成人形机器人动作
1X在2026年1月把1XWM集成进了NEO机器人并对外公布。这套系统先拿到文字指令和起始画面,据此生成一段描述任务执行过程的未来视频,随后由逆动力学模型把画面中的变化转成机器人可执行的动作轨迹。
训练数据来自互联网视频、第一视角人类数据和NEO数据。1月披露的版本中,世界模型生成5秒视频约需11秒,动作提取另需约1秒,反应速度仍是改进重点。2026年6月,1X宣布成立世界模型实验室,继续打通预训练与机器人部署、数据回收之间的学习流程。
11 英伟达DreamDojo:拿大规模人类视频训机器人模拟器
2026年2月公开的DreamDojo,是面向机器人交互预测的通用世界模型。研究以Cosmos-Predict2.5为基础,先用约4.47万小时人类交互视频做预训练,再用机器人数据适配。
给定机器人动作,DreamDojo会预测对应的环境变化。团队用蒸馏提升推理速度,把它用于交互遥操作、策略评估和基于模型的规划。与通用场景生成相比,它更在意动作能不能引起合理的物体变化,以及能否处理目标机器人训练数据里没覆盖的物体和交互。项目已公开代码和模型资源。
12 蚂蚁灵波LingBot-World 2.0:把实时世界的交互时间拉长
LingBot-World 2.0又叫LingBot-World-Infinity,2026年7月公开技术报告、推理代码与模型,9月又补了更多模型版本。它依靠因果预训练和蒸馏,改善持续交互时的生成质量与响应速度。
官方给出的演示配置能跑720p、每秒60帧的视频流;交互方面覆盖移动、更多角色动作以及文字驱动事件,另外还加入了两个智能体,分别管角色行为和环境变化。项目拿得出手的成果,主要在可持续探索的交互环境这一块。模型按多种规模和类型开放,许可证眼下只允许非商业用途。
13 腾讯混元HY-World:生成可保存、可编辑的三维场景
腾讯于2026年4月公开HY-World 2.0,随后分阶段放出代码和模型,7月宣布HY-World 2.1产品更新。该系列接受文字、单张图片、多视角图片与视频等输入,生成或重建可探索的三维场景。
2.0把全景生成、轨迹规划、世界扩展和三维重建串成一套流程,输出三维高斯、网格等资产,可接入游戏引擎与Isaac Sim等工具。它侧重环境空间的生成与重建,能为机器人仿真提供场景素材;物体受力、接触等动态过程仍需相应的物理建模支持。
14 智元 Genie Envisioner 2.0:机器人策略可在模型中反复试错
Genie Envisioner 2.0 的核心成果叫 GE-Sim 2.0,是一个面向机器人操作的闭环视频世界模拟器。项目 2026年4月上线,5月公开技术报告,6月放出代码和模型,10月又更新了评测支持。
训练数据覆盖遥操作、机器人策略部署与物体交互。外部策略给出动作,模拟器就生成新的环境观测,再交回策略继续决策。公开示例里有头部与双腕视角下任务成功和失败的过程。这套体系把世界模型接进了策略评测和训练流程,也能接入外部奖励模型。
15 生数科技 Motus2:动作、预测与评价共用同一模型
2026年公开的 Motus2 面向灵巧操作,一套共享参数提供三种接口:策略提出候选动作,模拟器预测动作带来的视觉变化,评价器判断结果,反馈再用于改进策略。
项目披露的人类数据原始录制规模约13万小时,训练从单目第一视角视频扩展到同步双目数据,再适配机器人轨迹。长时记忆和触觉反馈也在研究之列,实验在配有双臂、双灵巧手等硬件的平台上开展。论文、演示与分阶段开源计划均已公布。
16 流形空间 WorldScape:空间移动与物体操作统一建模
流形空间 2026年2月发布 WorldScape,把空间导航和物体操作放进同一个交互生成过程。模型引入几何约束和记忆机制,缓解连续移动后场景结构漂移、历史物体外观变化等问题。
2026年7月,公司又公布 WorldScape v2 和 Policy v2,扩展了不同动作控制方式,并加入面向机器人长程任务的记忆与上下文学习能力;10月公布 R²SI 机器人自我改进研究。其产品研究同时涉及交互世界生成与世界动作模型,试图连接环境预测、任务执行和经验利用。
17 高德 DreamX-Phi 1.0:围绕机器人动作预测交互画面
DreamX-Phi 1.0 是 2026年公开的机器人操作世界模型,基于 Wan2.2-TI2V-5B 构建。给入初始观察和指定的机器人动作序列,模型就生成对应的未来视频,重点是保持机器人运动、场景几何与被操作物体状态一致。
机械臂末端位姿、夹爪状态等信号被加入动作条件,交互相关训练用来改善物体变化,少步生成则提升推理效率。团队报告了 WorldArena 2.0 相关赛道成绩。官方仓库已公布技术说明,权重与推理代码列为比赛结束后开放。
18 Ctrl-World:在“想象”中评估和改进机器人策略
Ctrl-World 于 2025年10月公开,入选 ICLR 2026。模型联合预测外部摄像头与腕部摄像头画面,逐帧用动作条件控制未来变化,并检索历史记忆,维持多步交互的一致性。
团队用 DROID 数据训练,在抓取、叠毛巾、开关抽屉等任务中对比模型仿真与真实机器人的表现,还把筛选出的合成成功轨迹用于策略微调。论文报告,特定新指令、新物体任务上的成功率从38.7%升到83.4%;碰撞、滑动等精细动态的模拟仍有误差。
19 Dreamer 4:让智能体在学到的世界里训练行为
2025年9月公开的 Dreamer 4 把世界模型和强化学习结合起来。系统先从视频等离线经验里学习环境变化,再在模型生成的经验中训练行为,减少持续访问真实环境的需求。
这项研究跑的是 Minecraft 里的钻石获取任务,做法是完全依赖离线数据,把训练放在模型内部完成;对复杂物体交互的预测以及实时仿真能力,同样有改进。在这份名单中,它对应的是“在世界模型内部训练策略”这一路线。需要说明的是,论文用来做核心验证的场景是游戏,这跟真实机器人已具备通用操作能力并不是一回事。
20 DINO-WM:用视觉特征预测完成目标规划
DINO-WM 于 2024年11月公开,发表于 ICML 2025。它借助预训练 DINOv2 的局部视觉特征学习环境动态,通过预测未来特征,优化能接近目标画面的动作序列。
研究覆盖迷宫、推物体和多粒子交互等六类实验环境,不需要为每个测试目标重新学一套策略,也不依赖预先训练的逆动力学模型。DINO-WM 给出了一种较清晰的研究范式:先学动作如何改变环境,执行时再围绕新目标规划。论文与代码已公开。
21 百度 Apollo World:无人车测试延伸到完整虚拟行程
2026年11月3日,百度在深圳举行的 AI Day·Apollo 专场上首次披露 Apollo World。百度介绍,该模型把车辆、行人等交通参与者建模为具备决策和交互能力的智能体,让交通环境能响应无人车的动作。
模型支持生成摄像头、激光雷达等观测,驾驶系统可在虚拟城市中连续跑完从起点到终点的行程。它已用于萝卜快跑全球化测试与验证,重点是把真实道路中的复杂交互和风险场景转成可重复测试的虚拟环境。
22 宇树 UnifoLM-WMA-0:仿真与策略增强一肩挑
宇树在2025年公开的UnifoLM-WMA-0,是一套面向多类机器人本体的世界模型加动作框架。它真正的核心是一块世界模型,负责学习机器人与环境之间的物理交互,并给出仿真、决策两种工作模式。
仿真模式下,模型依据动作生成未来的交互过程,为训练提供合成数据;转到决策模式,世界模型则与动作模块相连,靠对未来的预测辅助操作。代码、模型和相关数据都已公开,实验覆盖宇树Z1机械臂、双臂平台以及G1机器人。
23 蚂蚁灵波 LingBot-VA / 2.0:让未来预测直接参与机器人控制
LingBot-VA与LingBot-World分工不同。前者把未来的视觉预测和动作执行放在一起训练,直接用于机器人操作。首代版本在2026年1月公开代码和权重,到了7月,团队又公布了LingBot-VA 2.0的研究进展。
2.0的起点是面向具身控制的因果预训练:视觉状态与动作被放进同一个共享表征空间,再配上稀疏混合专家架构和异步执行。模型在预测未来的同时,会根据机器人最新的观察修正接下来的控制。已公开的实验涵盖长程操作、精细操作以及少样本任务适配。
24 极佳视界 GigaWorld-1:围绕机器人策略评测构建世界模型
GigaWorld-1的落点是机器人策略评测,2026年7月公开了技术报告以及部分代码、模型资源。据团队披露,训练数据约1.3万小时,来源包括互联网与物理视频、公开机器人数据、第一视角人类交互和自采示范。
模型依靠历史画面、动作等条件,不断预测机器人与环境之间的交互过程。研究重点有三块:长时序动作一致性、多视角轨迹对齐,以及模型里的策略表现能否对应实际表现。该系列提供1.3B、5B等规格,还配套了评测和数据处理工具。
25 英伟达 DreamZero…联合生成未来视频和机器人动作
DreamZero于2026年2月公开,做法是以大规模预训练视频模型为底座,在同一次生成过程中把未来视频和连续动作一起预测出来。视频里学到的运动与物理交互信息,被用来研究机器人如何适应新任务、新环境。
它构建在Wan 2.1的14B视频主干之上,DROID、AgiBot相关模型及适配代码均已公开。团队还演示了一项实验:用约30分钟交互数据去适配新的机器人本体。DreamZero与主要充当模拟器的DreamDojo用途不同,它直接研究世界预测和机器人策略的联合学习。
26 小米 Robotics-U0:把具身场景与任务过程纳入统一生成模型
小米2026年7月公开的Robotics-U0,把图像生成、编辑、多视角具身场景生成、具身迁移和任务视频生成放在一个模型里处理。它关心的是机器人各视角之间的空间一致性,以及物体、环境或本体被替换后交互过程会怎么变。
这个模型也被拿来构造机器人训练数据。论文报告,在指定的真实机器人分布外操作任务中,用相关数据改进后的π0.5策略成功率从36.9%升到63.2%。模型与推理资源已经公开,9月又开放了训练代码,不同任务由对应的模型版本支持。
27 银河通用 LDA-1B:在隐空间里联合学习动态与动作
LDA-1B在2026年2月公开,入选RSS 2026。它把环境动态、视觉预测和策略学习揉在一起,训练数据是超过3万小时的人类与机器人交互记录。
预测发生在DINO视觉特征构成的隐空间里,模型据此判断未来变化,省去了对像素外观的反复建模,同时给不同质量、不同来源的数据安排各自的学习任务。团队展示了夹爪操作、灵巧手操作和长程任务实验。代码和模型检查点均已公开,这条路线用动态预测来组织异构具身数据。
28 智源 悟界·Physis-v0.1:探索统一的物理状态表征
2026年6月,智源研究院在北京智源大会上发布了悟界·Physis-v0.1。公开介绍提出,把视频、RGB-D、三维点云和力触反馈等信息编码成统一的隐空间物理状态,再用它预测后续的物理变化。
该模型瞄准具身智能、工业、物理仿真与科学研究等场景,关注动作因果关系、长时序推演和多模态物理信息融合。目前披露的重点是模型架构与应用方向,成熟度上要和那些已有完整公开代码、权重和任务实验的项目分开看。
29 UniSim:用可学习的模拟器训练机器人
UniSim于2023年公开,论文发表在ICLR 2024,是生成式交互模拟器方向较早的重要研究。它把图像、机器人操作和导航等不同数据结合起来,学习动作或指令之后环境会如何变化。
模型既能响应“打开抽屉”这类高层指令,也能响应移动到某个位置这样的低层控制。研究中,生成的交互经验被用来训练视觉语言规划器和强化学习策略,并展示了向真实机器人迁移的效果。这为后续用视频世界模型做策略训练提供了一条有代表性的实验路径。
30 TD-MPC2:隐式世界模型如何服务连续控制
TD-MPC2 的论文发表在 ICLR 2024,思路是把隐式世界模型、价值学习和模型预测控制揉在一起。系统先压缩状态空间,在这个空间里推演不同动作会带来什么结果,据此优化动作轨迹,再往下执行控制。
评测覆盖 104 项连续控制任务。研究还展示了一个 3.17 亿参数的模型同时处理 80 项任务的表现,涉及多种本体和动作空间。团队把数百个模型检查点和训练数据一并公开。这条路子和生成式视频不同:它围绕控制目标去学环境动态,学到的东西要足以支撑规划。
31 字节跳动 IRASim:把机器人动作与环境变化的对应关系做细
IRASim 做的是机器人交互模拟器,相关工作入选 ICCV 2025。给一段历史观察和机器人动作轨迹,模型就能生成后续的操作视频,刻画重点是机械臂怎么动、接触怎么发生、物体怎么变,以及三者之间的对应关系。
研究采用逐帧动作条件,让控制信号和画面贴得更紧,同时支持自回归地生成多段连续交互。团队借它做策略评测和基于模型的规划,还演示了用键盘或 VR 设备操控虚拟机械臂的交互方式。论文与代码均已公开。
32 英伟达 DreamGen:用世界模型造出能拿来训练机器人的经验
DreamGen 于 2025 年 5 月公开,是一套用视频世界模型生成机器人合成轨迹的研究流程。系统先适配目标机器人,然后根据起始画面和文字指令生成任务视频,再转成动作数据,拿去训练策略。
实验里只有单一抓放任务的遥操作数据,团队靠生成数据让人形机器人学会了 22 种新行为。他们还提出 DreamGen Bench,用来衡量指令遵循和物理合理性。这套东西属于世界模型的数据生成与学习体系,填的是从生成交互过程到真正训练机器人之间的空档。
放到一起看,这些成果的用途分三类:生成可供探索和编辑的环境,预测机器人与车辆动作之后的变化,以及拿模型里的试验结果去改进策略。已经有部分团队把这几环接进了同一套系统。
公开实验也暴露出具体差距。1X 披露过生成速度慢于真实动作的问题,Ctrl-World 在部分碰撞和滑动上仍难准确模拟。世界模型要往前走,得同时看三件事:环境预测准不准,模型里的训练能不能改善真实任务表现,以及一次试验要花多少时间和算力。