北大MXI-SimWorld登顶RoboColiseum:仿真预演让机器人先彩排再动手
北京大学杨超教授团队推出的MXI-SimWorld在RoboColiseum具身智能评测中拿下第一。该方案不靠堆数据,而是让机器人在高保真仿真环境中先“彩排”动作,通过并行推演筛选最优策略,再执行于真机。这种“Simulation as Policy”思路解决了大模型懂指令但不懂物理后果的痛点,尤其在空间理解和通用操作
具身智能的新标尺:从“看懂”到“做对”
11月11日中午,RoboColiseum 更新了最新一期周榜。这个具身智能领域的权威评测平台给出的结果有点出人意料——总榜第一不是哪家科技巨头的通用大模型,而是北京大学数学科学学院杨超教授领衔、壹零壹壹(1011.AI)公司旗下 MXI 团队开发的物理 AI 框架 MXI-SimWorld v0 Preview。
0.9656,这是它的综合得分。细看各分项,没有一处拖后腿:考察认知的“空间理解”和检验动手的“通用操作”两个子榜都排第一,“指令跟随”和“扰动适应”位列第二,四个维度全部进入前二。
RoboColiseum 在圈内含金量不低。Hugging Face、NVIDIA、清华大学等近20家机构联合发起,规则定得很硬:拒绝纸面刷题。域随机化机制加上严格的训练测试集隔离,为的就是尽量压住过拟合。更关键的一点是,它的评测结果与真实机器人表现的相关性接近 90%,同一模型在仿真环境和真机两端的成绩差异小于 10%。换句话说,在这里拿高分,放到现实世界里大概率也能干活。
这次登顶,也照出了当下具身智能领域的一块心病:大模型写代码、做逻辑推理都很流畅,甚至能听懂“把笔放进笔筒”这种指令,可一旦让它指挥机器人干活,为什么还是容易出错?
说白了,通用大模型是从海量文本和图像里学会了世界“长什么样”,至于“做出动作之后世界会变成什么样”,它没学过。
物理世界里没有撤销键。机械臂从哪个角度靠近、物体被碰之后往哪边滑、什么时候松手才不会掉,这些细微的物理反馈只要出错,环境状态就被不可逆地改掉了。GPT-6 Astra、Claude Opus 5.5 等头部通用模型此前也参加过评测,成绩已经接近头部专业具身模型,但碰上这种需要精确物理预判的任务,还是显得力不从心。
MXI-SimWorld 的路子很直接:动手之前,先彩排。
Simulation as Policy:把仿真变成决策的一部分
过去,仿真环境大多用来生成训练数据,让模型在虚拟世界里攒够经验再上线。MXI 团队换了个提法:Simulation as Policy,也就是以仿真支撑策略决策。
具体到执行层面,机器人接到任务后,系统不会直接输出动作。它先在仿真环境里快速预演多种可能方案,挑出成功率最高的那个,再交给真机去做。
视频演示里的桌面整理任务是个例子。机器人要把桌上的黑笔放进笔筒。这一步看着简单,变数却不少:笔从哪儿抓?机械臂走哪条路径才不会碰倒旁边的水杯?直接执行的话,一旦判断失误,东西可能就被打翻了。
SimWorld 的处理流程是这样的:
先通过头部和腕部相机拿到观测数据,认出桌面上的物体,再结合深度信息估计它们的三维位置、朝向和尺度。随后系统检索相似的仿真资产,调整尺寸和外形,快速搭出一个可交互的仿真场景。
接下来是关键一步。系统从同一个桌面状态出发,在多个并行仿真环境里尝试不同的抓取姿态和运动路径。有的方案会撞上障碍,有的可能抓不稳,这些失败轨迹被逐步淘汰,成功的则留下来。
最后,SimWorld 把筛出的最佳轨迹带回原始任务场景,指挥机械臂执行。也就是说,一次真实动作执行之前,系统已经在仿真里预演过多种可能性。
仿真因此不再只是训练场,而成了决策回路的一部分。模型由此得到一个可以反复试错、无限重来的平行世界——在那里摔跟头没有成本,攒下的经验却是真的。
三步走:重建、校准与并行预演
要让“仿真预演”真正靠谱,三个问题绕不开:眼前的画面怎么快速搭成仿真环境?虚拟物体的物理反馈怎么贴近真实?有限时间内又怎么高效预演多个方案?
SimWorld 把整个过程拆成重建、校准和预演三个环节。
第一步是重建,把眼前的场景“搬”进仿真。
SimWorld 的核心组件是可交互世界仿真器。它要的不是一张看起来像的图片,而是有几何结构、空间布局和物理属性的交互场景。系统识别出与任务相关的物体后,依托 MXI 团队自研的“谐物”仿真引擎,按“相似资产检索—未见资产生成—实例级编辑”的流程完成重建。

每个重建出的物体都有两套“身体”:一套是管外观的几何网格,另一套是管接触计算的碰撞体。尺寸、位姿、摩擦系数等参数都能精细调整。一张普通的视觉画面,就这样变成一个可以被物理引擎推演的数字孪生场景。

第二步是校准,让仿真不只“长得像”,还要“动得像”。

场景搭起来之后,物理参数要是不准,仿真结果就没什么参考意义。杯子在仿真里可能滑出老远,现实中却停得稳稳的。

针对这一点,SimWorld 用上了上下文学习(In-Context Learning)。训练样本里物体被操作的过程被拿来当参照,系统从中分析动作和物体运动怎么对应:接触点落在哪,撞完怎么动,松手后又怎么滚。随后靠轨迹重演,把仿真结果和参考视频里的运动过程、最终状态摆在一起比,物理参数一轮轮调。

走完这一步,重建出的场景就不只是看着像,在动作作用下也“交互准”了。
第三步是预演:在多个平行世界里同时试,挑出最好的那个去执行。
环境可信之后,SimWorld 的自进化动作策略会把当前状态复制进多个独立仿真世界。各候选方案起点完全相同,分别去检验搬运路径、接近方向、释放位置和放置动作。
筛选看几项:机械臂够不够得到、路径会不会碰撞、物体落点在哪、放置稳不稳。执行完成后,新的视觉观测更新物体状态,实际结果再与仿真预测对齐,成为下一轮搜索的起点。
这里有条硬约束:RoboColiseum 是限时评测。仿真里试再多,动作也得在时间预算内给出。“观测处理-场景更新-候选方案生成-物理推演-结果筛选”整条决策链路,因此必须跑得极快。
快,正是 1011.AI 的底气。其自研“谐物”仿真引擎在求解算法和硬件适配上做了大量优化。测试数据显示,在 RTX 5090 平台、双精度计算条件下,该引擎在典型刚体、刚柔耦合以及布料、线缆等大形变场景中的物理求解速度,达到 Genesis、MuJoCo、Newton 等主流物理引擎的 2 倍以上。
速度快了,单位时间内能验证的方案就更多,决策也更从容。
从数学原理到物理智能
MXI-SimWorld 背后,是北京大学数学科学学院杨超教授团队的长期积累。
杨超教授深耕高性能计算,2016年曾带团队拿下国际超算领域最高奖 ACM 戈登·贝尔奖,实现中国在该奖项上零的突破。1011.AI 成立于2026年6月,专注物理 AI 基础设施和模型研发,成立以来已完成过亿元融资。
团队正在搭“高性能计算+物理仿真+AI”的全栈技术体系。此次登顶的 SimWorld 之外,MXI-RoboICL、MXI-Hybrid-v0 等系列模型也将陆续发布。
SimWorld 不只在刚性物体操作上表现突出,更难的流体任务也通过了 Sim2Real(仿真到真机)验证。定量倒水任务中,流体与容器的交互公认是最难仿真的类别之一,谐物引擎的仿真结果与真机表现保持了较好的一致性。
大模型已经解决了“想得懂”,要让它“做得好”,还得让它知道行动会带来什么后果。
现实中没法一遍遍试错,于是先为机器人搭一个可信、可交互、能无限重来的世界。该摔的跤,先在里面摔够,再上场。SimWorld 能登顶 RoboColiseum,原因或许就在这里;具身智能要从“感知”迈向“行动”,这也算一条务实的路子。