北大数院团队MXI-SimWorld登顶RoboColiseum具身评测总榜
在 RoboColiseum 最新一期周榜中,MXI-SimWorld 以 0.9656 的成绩位列总榜第一、空间理解、通用操作子榜第一。当大模型开始走进物理世界,如何让机器人理解指令、感知环境并完成操作,成为具身智能领域的重要课题。11月11日,RoboColiseum 官方发布新一期周榜,榜单显示,截至2026年1
RoboColiseum 最新一期周榜里,MXI-SimWorld 拿下总榜第一,成绩是 0.9656,空间理解与通用操作两个子榜同样排在首位。大模型迈进物理世界之后,机器人能不能听懂指令、看清环境、把活干完,已经成了具身智能绕不开的题目。
11月11日,RoboColiseum 官方公布新一期周榜。榜单显示,截至2026年11月11日中午 12:00,北京大学数学科学学院杨超教授领衔的壹零壹壹公司旗下 MXI 团队,靠物理 AI 框架 MXI-SimWorld v0 Preview 拿到 0.9656 的综合得分,位居 RoboColiseum 具身智能评测总榜第一。
四个子榜分开看,MXI-SimWorld v0 Preview 也没露短:空间理解、通用操作排第一,指令跟随、扰动适应排第二。四个维度全部跻身前二。
Robocolisuem 总榜 截止到 2026 年 11 月 11 日 图源:RoboColiseum
RoboColiseum 由 Hugging Face、NVIDIA、清华大学等全球近 20 家高校、企业与科研机构联合发起,在具身智能领域算得上含金量很高的“实机前置标尺”。它不认纸面刷题:域随机化机制加上训练集与测试集严格隔离的规则,用来避开过拟合;测试同时覆盖分布内与分布外。最终评测结果与真实机器人表现的相关性接近 90%,同一模型在仿真与真机两端的成绩差异小于 10%。
榜单分指令跟随、空间理解、扰动适应、通用操作四大维度。前两项看的是模型“看得懂、想得明白”的认知本事,后两项直接检验“动手能不能做成事”的物理落地能力。通用大模型一路进步,另一个问题也跟着冒出来:模型理解任务的本事,怎么变成机器人完成物理操作的本事?
GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon 等通用大模型都参加过 RoboColiseum 的评测,此前一轮里,它们的综合表现已经接近头部专业具身模型。可大模型能流畅写代码、做复杂逻辑推理,真要指挥机器人完成桌面抓取、物品归置这类任务,物体位置、空间关系、动作执行这些问题还是躲不掉。
问题在于,AI 听得懂“把笔放进笔筒”,却还得再判断机械臂从哪个角度靠近、物体被碰后往哪儿滑、什么时候松手。大模型从海量文本和图像里学懂了世界“长什么样”,没学到“做出动作之后世界会变成什么样”。
物理世界没有撤销键。动作一旦执行失误,环境状态就被不可逆地改掉,这正是通用大模型落地机器人场景的致命短板。
一、SimWorld:让机器人先在仿真中预演
假如机器人在真正动手之前,能先试几种方案、看看各自可能带来什么结果,会怎样?
这正是 MXI-SimWorld(下文简称SimWorld)的路子:动手之前,先彩排。
https://mp.weixin.qq.com/s/a3a9GfFkCystpuGldDFxbg
SimWorld桌面整理长程任务演示 视频来源:1011.AI
拿上面视频里的桌面整理任务来说。机器人要做的第一步,是把桌上的黑笔放进笔筒。可笔该从哪儿抓?机械臂走什么路径,才不会撞到旁边的物体?
SimWorld 先从头戴和腕部相机取观测,认出桌面上的物体,再去检索相似的仿真资产,调整尺寸、外形和位置,搭出一个能交互的仿真场景。
接着,系统从同一个桌面状态出发,在多个仿真环境里并行试不同的抓取姿态和运动路径。碰到障碍或者没完成任务的方案被逐步淘汰,成功的轨迹留下来。
最后,SimWorld 把筛出来的轨迹带回原始任务场景,让机械臂抓起黑笔、放进笔筒。一次动作执行之前,系统已经在仿真里预演过好几种可能。
从场景观测到动作选择,仿真不只用来生成训练数据,也开始参与模型的决策过程。MXI 团队把这套思路叫作 Simulation as Policy:以仿真支撑策略决策。
二、仿真让模型拥有一个可以反复尝试的世界
视频里的桌面整理任务,只是机器人与物理世界打交道的一个缩影。把笔放进笔筒,要判断物体位置、抓取方向和机械臂运动路径;换个位置、换种形状的物体,或者桌上多出一个障碍,原来的动作方案可能就不好使了。
对机器人来说,真实世界不是一套固定考题。物体的形状、材质和摆放方式会变,动作执行后的结果也可能跟预期不一样。模型得在不同条件下攒够交互经验,才有机会学会应付这些变化。
最直接的办法,是让机器人在真实世界里反复练。
可真实交互离不开设备、场地、人力和时间。研究人员每做一次尝试,往往都得重新摆好物体、把机器人复位,才能接着做下一次。碰上危险、罕见或者容易造成损耗的场景,想反复采集数据就更难了。
仿真给出了另一条路。
在仿真里,同一个场景能复制、能调整、也能重置。物体摆在哪、长什么样、场景条件怎么变,研究人员都能改,让模型在不同情况下试动作;还可以让多条候选路径从同一个初始状态出发,看各自会带来什么结果。
也就是说,仿真的价值不只是多生成一些训练数据。它还能充当一个可交互、可回退、可并行的预演环境:系统要做选择时,先在里面试,再根据反馈定下一步。
当然,预演结果想真正有参考价值,仿真环境就得尽量还原物体之间的接触、碰撞和运动。真实数据仍然少不了——既能用来校准仿真,也能检验模型在真实世界里的表现。
从英伟达的 Isaac Sim,到 World Labs 收购机器人仿真公司 SceniX,空间理解、物理交互和仿真能力正被越来越多的人盯上。各家走的技术路线不一样,但回应的是同一个问题:怎么让 AI 更好地理解物理世界,并在其中采取行动?
MXI 团队的想法更进一层:仿真不光能服务模型训练,还能参与动作决策,给模型一个在行动前观察结果、比较方案的环境。
不过要实现这一点,几个具体问题得先回答:眼前的场景怎么搭成仿真环境?物体交互怎么才能尽量接近真实?多个动作方案又怎么高效预演?
这些正是 SimWorld 接下来要解决的问题。
三、SimWorld 怎么彩排:场景配置、交互校准、动作预演
想让仿真参与模型决策,第一步是根据观测搭出一个可交互的场景;接着让虚拟物体在受到动作作用时给出有参考价值的反馈;最后在多个仿真环境里试不同方案,为动作选择提供依据。SimWorld 把这几个环节串了起来,形成从场景重建、校准到预演的完整过程。
第一步:重建,把眼前的场景“搬”进仿真。
SimWorld 的核心组件是可交互世界仿真器(Interactive World Simulator),它把在线视觉观测和任务指令转成一个能动手操作的仿真环境。
系统先找出和任务相关的物体,再结合深度信息估计它们的三维位置、朝向、尺度和相互关系。随后依托 MXI 团队自研的谐物仿真引擎,按“相似资产检索—未见资产生成—实例级编辑”的流程把场景重建出来。
重建出的每个物体都有两套“身体”:几何网格管外观,碰撞体管接触计算。尺寸、位姿、摩擦等参数都能调。所有资产放进同一个场景坐标系后,一张视觉画面就成了有几何结构、空间布局和物理属性的交互场景。
仿真资产重建流程 视频来源:1011.AI
第二步:校准,让仿真不只“长得像”,还要“动得像”。
场景看着一样,物体受力、碰撞以及松手之后的运动未必一样。
为此,SimWorld 用上了上下文学习(In-Context Learning)。它拿训练样本里的物体交互过程当参考,分析动作和物体运动之间的对应关系:接触发生在哪,碰撞后物体怎么动,松手后怎么滚、最后停在哪。
接下来做轨迹重演:仿真结果会跟参考视频里的运动过程和最终状态逐项比对,物理参数据此反复微调。标定时,物体最后停在什么位置、又是沿什么路径到达那里,这两点都会被纳入考量。
走完这一步,重建出的场景就从视觉上的“长得像”,变成了动作作用下的“交互准”。
仿真校准交互过程视频来源:1011.AI
第三步:预演,在多个平行世界里同时试,挑最好的去执行。
环境可信之后,SimWorld 的自进化动作策略(Self-Evolving Policy)会把当前状态复制到多个独立的仿真世界。不同候选方案从完全相同的起点出发,分别检验搬运路径、接近方向、释放位置和放置动作。
机械臂能不能够到目标、路径会不会撞上东西、物体最后落在哪、放得稳不稳——系统靠这几项来挑方案,挑完再到真机上执行。执行完,新的视觉观测会刷新物体状态,同时把实际结果和仿真里的预测对齐,当作下一轮搜索的出发点。
动手之前先拿多个方案做验证,动手之后还不停修正。MXI 团队管这套做法叫“以仿真支撑策略决策”(Simulation as Policy)。
多环境并行预演与候选轨迹筛选过程 视频来源:1011.AI
RoboColiseum 的评测是限时的。仿真里试再多遍,动作也得在时间预算内交出来。
这就要求“观测处理-场景更新-候选方案生成-物理推演-结果筛选”这条决策链路全程都得快。推演的规模同样要权衡:推演时间拉长,松手之后的滚动和失稳才看得见;步长放细,接触过程才看得清。可这两样都会让计算量往上走。
这恰好是 1011.AI 的强项。谐物仿真引擎从求解算法和硬件适配两头下手:一头压短单条候选轨迹的推演时间,一头让多个独立环境同时跑,单位时间里能验证的方案数量就上去了。
谐物这套自研物理仿真引擎跑起来有多快?已有测试给出的答案是:在 RTX 5090 平台上做双精度计算,典型刚体、刚柔耦合场景,以及布料、线缆这类大形变场景中,它的物理求解速度都超过 Genesis、MuJoCo、Newton 等主流物理引擎的 2 倍。
谐物仿真引擎与 Genesis、Newton复杂环境任务对比 视频来源:1011.AI
从看懂场景、预演交互到执行动作,SimWorld 怎么把这些能力落到具体任务上?下面这段视频记录了团队在 RoboColiseum 里的探索过程,也能看到系统在仿真任务中的表现。
https://mp.weixin.qq.com/s/a3a9GfFkCystpuGldDFxbg
SimWorld在RoboColiseum中的部分 Demo 展示 视频来源:1011.AI
仿真做得再漂亮,最后还是要回到真机上见分晓。
MXI 团队拿定量倒水这类任务做了 Sim2Real 验证。流体本身,加上流体和容器之间的交互,向来被公认是最难仿真的类别之一。这些任务上,谐物的仿真结果和真机表现对得比较齐。
https://mp.weixin.qq.com/s/a3a9GfFkCystpuGldDFxbg
倒水任务仿真与真机演示对比 视频来源:1011.AI
四、北大数院团队:从数学原理出发,重构物理智能
要让高保真仿真进入机器人的每一次决策,两样能力缺一不可:精确的物理建模,以及把计算压得足够快的工程本事。这两样,正是 1011.AI 的根基所在。
公司创始人杨超是北京大学数学科学学院教授。2016 年,他带领团队拿下国际超算领域最高奖 ACM 戈登·贝尔奖,实现了我国在该奖项上零的突破。他还是首届王选杰出青年学者奖得主,高性能计算、数值仿真和人工智能是他长期深耕的方向。
1011.AI 成立于 2026 年 6 月,专注物理 AI 基础设施和模型研发,成立以来已完成过亿元融资。团队正在搭建“高性能计算+物理仿真+AI”的全栈技术体系。据团队表示,MXI-RoboICL、MXI-Hybrid-v0 等系列模型也将陆续发布。
大模型如今已经能“想得懂”。可要让它“做得好”,还得让它明白每个动作会带来什么后果。
真实世界不给反复试错的机会,那就先给机器人造一个可信、可交互、能无限重来的世界。该摔的跤,在里面先摔完,再上场。
这是 SimWorld 给出的答案,也是它登上 RoboColiseum 榜首的原因。