大晓机器人Mundo发布：懂物理能交互，力压Genie4和Atlas?

新智元报道  

世界模型这条赛道，这两天一下子热闹了起来。

谷歌DeepMind就在昨天亮出了新一代实时世界模型Genie 4：每秒24帧实时生成，单帧延迟压到40毫秒，连贯记忆能维持2分钟。

后台接进来的Gemini模型负责拆解任务，屏幕上可以同时跑16路UR5机械臂的仿真画面——拿移液管、往微孔板里精准滴注液体。

谷歌Genie 4生成16路机械臂仿真画面

再往前不久，李飞飞团队World Labs拿出了全模态世界模型Atlas。给一两张参考照片，它就能还原出精细的3D空间，顺着镜头一口气生成1分钟的1440p高清漫游大片。

李飞飞团队Atlas生成高清3D漫游画面

谷歌的Genie 4也好，李飞飞的Atlas也罢，主流世界模型做出的三维场景，逼真程度一个赛过一个。

问题是，真把这些模型搬进具身智能产线去训练机器人，工程师很快会撞上瓶颈：漂亮画面背后，底层的刚体力学计算是缺的。

纸箱画得再像，算不出箱盖的阻力和重量分布，机械臂就学不会装箱；洗衣机门纹理再清楚，铰链没有碰撞反馈，机器人的手伸过去照样穿模。

机器人要在虚拟世界里真练出本事，世界模型就得在逼真视觉之上再走一步，把真实的物理规律补进来。

大晓机器人联合南洋理工大学S-Lab刚刚正式发布世界模型「Mundo」，面向具体环境构建，可探索、可交互。

几张酒店照片重建3D空间并供机器人交互

Mundo和那些只能看景色的模型不一样，它懂物理属性，也能动手交互。

3D场景重建、物理仿真与视频生成被它揉到一起，还结合Astra做出了全新的空间理解能力。

运行时，系统用场景代码记下每件物体的物理属性，交给物理引擎算出运动和碰撞，再结合现场照片渲染出逼真画面。这样建出来的房间既能看，也能用代码或外力去推拉碰撞，直接拿来训练和测试机器人。

项目地址：https://mundo-world-model.github.io/

博客地址：https://huggingface.co/blog/Luo-Yihang/mundo-world-model

常见的3D重建模型拿到房间照片后，做出的桌椅、抽屉都是钉在原地的静态模型，人只能在屋里转视角看风景。

Mundo换了个思路：把每件家具都写成场景代码，配上真实的重量、质心和摩擦力，人和机器人就能推拉、移动、撞击屋里的东西。

团队展示的办公室实测里，对着办公桌、转椅和抽屉柜随手拍9张照片，整间屋子就成了能用Python代码操控的物理世界。

Python代码驱动抽屉滑开、苹果撞击显示器。

敲几行Python代码下指令，屋里的办公设备便按物理规律一步步动起来。

• 0.60秒抽屉滑开：桌底第三层抽屉收到指令，自动往外滑开0.28米；

• 1.90秒苹果升空：抽屉里一颗重0.2千克的红苹果升到半空，停在4.2千克重的黑色显示器正前方；

• 3.45秒高速撞击：苹果以每秒13.5米的速度砸向屏幕顶端，当场把显示器撞得向后倾斜；

• 5.00秒开启「子弹时间」：整个场景时间定格7.5秒，镜头绕着半空的苹果和倾斜的屏幕旋转一圈，随后才恢复重力落回桌面。

除了写代码控制，用户还能用鼠标拖走地上的蓝色垃圾桶，把办公椅向后拉开0.4米，或者往桌面上施加300牛顿的冲击力。

换到不同材质和重力条件下，底层的960Hz MuJoCo物理引擎同样能给出精准的力学计算。

不同材质球体下落与保龄球碰撞力学仿真。

橡胶球、篮球和保龄球体积一样，从相同高度落下去，弹起多高、砸下来多重，都按真实的弹性和重量分布来算，左侧面板同时标出落地冲击峰值 15.5 千牛。

保龄球馆这个场景里，球以每秒 4.6 米的速度撞进瓶区，接触那一刻冲击力达到 55.6 千牛，十个瓶子跟着四散飞开，速度、接触点和冲击力曲线跟画面完全对得上。

屋里每一次推拉和碰撞都有可追踪的状态、可计算的过程，这样的虚拟场景才能真正拿来训练机器人。

要把物理碰撞算得这么准，前提是先把真实房间的三维结构还原准确。

要是虚拟桌子的位置跟现实差了一截，机器人在仿真里练得再熟，到了真机上伸手还是会抓空。

在这方面，Mundo的采集门槛很低。

拿手机拍 1 到 12 张照片就行，它会把不同视角的信息装进同一个三维空间：拍到的地方照原样保留真实布局，没拍到的死角则顺着房间结构自动补上。

1张、3张与9张参考图的场景还原对比。

只给1张照片，它照样能把整间屋子补齐；参考图加到3张、9张之后，桌上马克笔、水杯、文件夹摆在哪都分毫不差。

就算只丢进去一幅梵高的《夜间咖啡馆》，它也能照着画里的透视关系，搭出一条能走进去逛的3D街景。

单幅油画3D延伸与双层住宅跨房间漫游

碰上双层住宅、整层酒店这类大尺度场景，输入几十张照片，它同样能一次产出好几分钟的跨房间漫游长镜头。

分块流式生成与动态参考图切换

普通视频模型拉长镜头，走着走着画面就糊了。Mundo的做法是每次分段生成124帧，再留上一段末尾的34帧做衔接过渡，画面才稳得住。

镜头一路往前，系统会随手换上沿途最对得上的参考照片——从院子穿客厅、过厨房再到楼梯间，全程连贯清晰。

3D空间搭起来之后，物理引擎要算准碰撞，屋里每件家具的位置和边界都得标得极准。

Mundo三阶段完整技术流水线

只靠传统3D检测器去标物体框，椅子腿悬在半空、柜子陷进墙里这类偏差很常见，物理引擎一开就会撞出异常。

这道难题，Mundo是联合Astra做出新的空间理解能力来解决的。

Astra多视角循环校准3D边界框

Astra校准物体位置，靠的是一套「修改代码、投影比对」的循环机制。

它一边改场景程序里家具的尺寸和朝向，一边把3D框投回各个角度的原图去对轮廓边缘；最后还得交给独立的Reviewer Agent，把所有视角复核一遍才算过关。

几轮迭代下来，酒店客房里3D框的边缘误差从72.3像素降到了1.9像素。

Boxer、SpatialLM与Mundo的3D框对比

同一间客房里跟ECCV 2026的Boxer、NeurIPS 2025的SpatialLM放在一起比，前两个模型框出的床铺和柜子仍有明显偏移，Mundo的3D框则严丝合缝贴住床沿与墙角。

空间位置校准完毕，三个核心模块开始协同，把静态照片变成可交互的逼真画面。

• 场景代码建模：大件家具按校准后的3D框固定位置，桌上要抓取的小物件则生成细致三维网格，重量和摩擦系数一并写进场景代码；

• 物理轨迹计算：底层MuJoCo物理引擎依据这些参数算出准确运动轨迹，再把模拟过程渲染成按物体类别上色的色块引导画面；

• 真实光影渲染：微调过的Ref2VA视频模型同时参照色块引导画面与现场原图，把真实房间的木纹、反光和阴影细腻画出来。

真实房间的三维结构和物理属性都就绪后，接下来就是把机器人放进去练活了。

三维场景里家具挡在哪、人能走哪，早就标得明明白白，路径规划器用A*算法一算，绕开障碍的导航路线马上就能给出来。

A*路径规划，加上双视角的机器人导航

人形机器人也好，四足机器狗也罢，只要沿着规划路线走，系统就会同步生成两路画面：身后跟拍的第三人称视角，和头部看到的第一视角。一路经过了哪些家具、转过弯撞见什么，全都清清楚楚。

室内导航之外，这套流程在机械臂抓取训练上也砍掉了大量繁琐的建模活儿。

过去在传统仿真器里训练机械臂，换一台机器人，或者只换一张桌子，工程师都得重新手动搭一套三维资产。

到了Mundo这里，拍一张木桌照片就行——桌上摆着红苹果、白碗和书本，桌面仿真环境会自动生成。

Franka Panda、Google Robot、Stretch 3、Galaxea R1 Pro和Unitree G1，这五款机器人长相和结构各不相同，却都能站到这张木桌前，轮流练抓苹果、拿易拉罐、搭积木。

一张桌面照，五款机器人轮流练抓取

训练时，画面左侧是全局外部视角，右上角同步显示手腕或头部的第一视角，右下角则实时跳动着关节角度、物体高度和速度曲线。

研究人员盯着屏幕，就能把机器人「看到的画面」和「关节怎么使劲」一帧一帧对上，真机上场之前先把动作策略调到最优。

万一某个单一视角被挡住、看不清动作细节，还可以随时把时间定住，开启四维时空「子弹时间」，换个角度仔细排查。

四维时空「子弹时间」，绕着看动作细节

• 真机动作也能环绕着看。比如双机械臂在半空交接香蕉、大晓人形机器人把蓝布扔进纸篓，系统参考四台相机拍下的真实动作，能随时定住机械臂姿态，转着镜头生成全新的环绕视角；

• 物理碰撞的瞬间同样能定格排查。国际象棋倾倒、红鼓砸向地板这类物理模拟场景里，镜头可以绕着半空定格的棋子转上一圈，再让它继续下落，接触面和遮挡死角都看得一清二楚。

这套能力没停在实验室的桌面上。技术团队已经把Mundo带进真实的商业酒店，做完了实测。

整层酒店22万点云重建，跨房间导航

在酒店现场拍完一圈多角度照片后，大堂、走廊、客房和洗衣房就被还原成一个由22万个三维点组成的数字楼层。

沿着规划好的路线，人形机器人从大堂出发，自己穿过长走廊走进客房，拎起手提袋稳稳放到床上。

酒店洗衣房重建，拉开洗衣机门交互

酒店洗衣房空间紧凑，面对一排滚筒洗衣机，机器人穿过狭窄过道后，还能照着还原出来的洗衣机结构伸手拉开舱门，真机进场干活前就把整套动作跑通了。

Mundo 补上了具体环境建模与仿真训练这一环。大晓机器人的世界模型体系以 Kairos（开悟）为核心，「现场拍照采集、合成训练数据、打磨控制策略」这整条流程，也借此串了起来。

目前这套技术体系已经走进商业场景，很快将在国内头部连锁酒店落地实际应用。

世界模型的上半场，比的是哪家生成的画面更逼真；到了下半场，较量的是谁能把真实世界的物理规律装进虚拟空间里。

参考资料：

https://mundo-world-model.github.io/