大晓吕健勤:Mundo让机器人拥有试错空间?
作者 | 青和编辑 | 四月随着通用大模型加速向物理世界渗透,具身体系原有的技术分工正在被改写。上周,OpenAI 撤销独立机器人团队、将研究员并入核心基础模型体系的动作,释放出清晰的行业信号:在模型巨头眼中,物理世界已经成为通用大模型下一步势必攻克的原生场景。一方面,通用基座的认知与规划能力(System 2)持续向
通用大模型往物理世界走得越来越快。
上周 OpenAI 撤掉独立机器人团队,把研究员并进核心基础模型体系,这一动作释放的信号很清楚:在模型巨头看来,物理世界已经是通用大模型下一步要拿下的原生场景。夹在中间的 System 1(技能策略层)正被两头狠狠挤压。
一个尖锐的问题随之浮出:通用大模型开始直接接管空间理解与任务规划之后,独立的世界模型到底是通往物理智能的必经之路,还是注定被通用基座吞掉的过渡产物?
AI 前线就此与大晓机器人世界模型科学家、南洋理工大学校长讲席教授展开了一场深入对话。吕健勤是具身智能领域的国际顶尖学者,同时还在南洋理工大学担任
产业一线这边,他正牵头推进大晓机器人联合南洋理工大学发布的最新成果——可探索、可物理交互的世界模型 Mundo,并深度参与大晓以
对话中,吕健勤坦言,
面对这一现实困局,大晓没有再用单一黑盒模型包打天下,而是转向 “。在酒店服务等商业场景的落地中,Mundo 充当“数字练兵场”,把真实环境快速重建为可物理交互的仿真空间,让机器人先在虚拟世界里低成本试错。
外围则打通“通用大模型 + 开悟世界模型”的双脑协同架构,任务规划与物理推演各管一摊。最终由具身 RSI(递归自我改进)机制吸收真机物理反馈、不停迭代技能,在虚实交替校准中跑通具身的规模化落地。
“我们确实感受到了比较大的冲击。”访谈刚开场,吕健勤就直言不讳:行业此前大多以为具身智能的不少难题得花很长周期才能解决,可随着通用大模型能力跳升,大量原本棘手的感知与推理问题,单一大模型已经能解得不错。
可当团队真把这类模型装到物理机器人上跑连续任务,工程上的残酷现实很快暴露出来。吕健勤拿团队此前的研究举例:有些复杂任务要跑半小时到 1 个小时,单次任务就可能烧掉 2000 万 Token,算力成本直接冲到 20 美元上下。
“慢”加上“贵”,让只靠一个超级单体大模型包打天下的设想在商业上站不住脚。
针对这一瓶颈,吕健勤给出一个核心架构判断——Scaling by Composition。与其把所有能力硬塞进一个黑盒模型,不如把复杂问题拆开,让各有专长的模型分头干活,同时搭起高效的信息互通机制。
这套思路直接落在大晓机器人的“双脑协同”系统架构上。吕健勤介绍,大晓把高层认知推理和底层物理推演明确解耦,由多个专业组件协同运转:
• 通用模型:充当认知与规划中枢,管的是对物理世界的高层语义理解、逻辑推理和任务规划;
• 世界模型体系(以开悟 Kairos 为核心,Mundo 是关键仿真组件):开悟世界模型负责推演和预测物理世界;Mundo 则是其中专做环境仿真的工具,把具体现实场景变成可自由探索、可编辑、带物理交互反馈的虚拟“软世界”,承担场景重建与离线策略验证;
• 编排与控制框架(:把不同模块串起来,统筹感知、记忆、技能调用与底层运动控制之间的衔接。
吕健勤认为,未来通用模型、具身模型(如 先由仿真世界模型搭出低成本的交互推演空间,让通用模型在里面充分试错、沉淀出轻量化技能,再交给端侧高效执行。
外界通常觉得,新一代世界模型往往是传统物理仿真引擎的颠覆者。吕健勤在对话里主动纠正了这个误解:“Mundo 的价值不在于取代现有的仿真引擎,我们依然依赖
真正卡住传统机器人仿真的,是仿真引擎前端极其繁琐的“人工搭台”。吕健勤指出,没有 Mundo 之前,工程师要想在 光搭一个可用场景往往就得花一到两周。
Mundo 要解决的,正是这条传统管线最前端的环境构建难题:它把三维重建、物理仿真与视频渲染用一套统一逻辑打通,让真实场景更自动化地转成可交互的虚拟环境。
具体来说,Mundo 这套流程分三个环节:
第一步,让 AI 理解并重建场景。系统输入真实环境的少量照片或视频后,先用三维重建技术和多模态模型智能体识别物体的位置、尺寸及相互关系,生成简化的三维代理(。模型还会结合视觉信息与已有知识,估计物体的质量、摩擦系数等属性,并记成可编辑的场景代码。
接下来由物理引擎算出交互结果。物理参数写入代码后直接接入系统,机器人不只知道东西在哪儿,还能预演做出动作后会发生什么。
再往后是视频模型把真实场景还原出来。经过渲染,画面变成材质、光照都贴近现实的连续交互视频;拍摄时没覆盖到的区域,模型会补上必要的视觉细节。
这套机制跑通后,机器人就不用守在昂贵的真机上,每次耗上半小时慢慢试错。它被直接放进 Mundo 生成的虚拟软环境里,反复演练哪里能走、哪里会撞、门该怎么拉开。
吕健勤透露,机器人在虚拟环境里摸出一条成功路径后,大晓的具身 RSI 系统会把它固化成一段可复用的代码级成果。等到真机执行同类任务,只需像调用函数一样触发,原本半小时的操作能压到几十秒内完成,执行速度提升近百倍。
眼下学术界和工业界在世界模型上路线分歧明显:Yann LeCun 倡导的一派走“隐式路线”,想靠海量视频训练,让神经网络在潜空间里自行摸索。
被问到为什么没选全端到端的隐式路线,吕健勤的判断很务实,带着工程师视角:“把物理规律直接沉淀进神经网络参数当然是重要的研究方向,但它目前依然是个难以掌控的黑盒——物理常识究竟存在哪一层参数里、仿真穿模后该如何精准修正,全都是悬而未决的难题。
相比之下,Mundo 的做法是把物体属性直接写进代码。仿真出来的物理表现一旦不对,工程师马上就能查到究竟是哪个摩擦系数、哪个质量参数出了偏差。落到产业应用上,这种可控制和可调试的能力很关键。
大晓已在 Hugging Face 社区公开 Mundo 的技术博客与方案设计,近期还计划逐步开源完整代码、模型权重以及模块连接技巧。吕健勤坦言,开源是想让社区一起把管线工具做成熟,而大晓真正的商业壁垒,在于结合具体行业场景沉淀下来的自有能力。
酒店场景的真机实测就是个例子:基于通用模型,单次执行时间从 30 分钟缩短至 18.648 秒,效率提升 97 倍。
练兵场建得再快,最后还是要过真实物理世界这一关。吕健勤看来,Mundo 主要管前期预训练和策略验证,模型上线前仍得用真机数据做微调;真机执行时暴露的物理碰撞误差也会回流,反过来校准 Mundo 里的环境与力学参数。
吕健勤认为,真机数据未来还能用来反向校准仿真环境。酒店场景中,Mundo 目前已支持建模和离线策略验证。
为了啃下现实中的长尾故障,大晓在双脑协同架构之外又引入具身智能 RSI 路线:系统把复杂任务拆成细粒度的原子动作,真机执行一旦受挫,具身 RSI 机制就捕获物理失败反馈,驱动模型自主修改底层策略或重编程动作代码,在真实交互里持续迭代技能。
吕健勤也没有回避演示之外的问题,他直言 Mundo 乃至整个世界的模型领域有三道现实门槛待突破:1)长时程记忆缺失,2)小物体与柔性形变盲区,3)离线计算耗时仍高。
世界模型这条赛道还在演进,吕健勤给出了工程上的及格线:第一,能否证明自己大幅削减了对昂贵真机示范数据的依赖;第二,能否在真实物理交互中持续积累经验并跨场景泛化。
“归根结底,世界模型最重要的验收节点,就是能不能在自己的机器人本体上真正用起来。”吕健勤说道。