北大MXI-SimWorld登顶RoboColiseum:仿真预演让机器人先彩排再动手

资讯 AI 应用前沿 全文 3128 字 · 约 8 分钟读完 配图 5 张 分类具身智能大模型

北京大学杨超教授团队推出的MXI-SimWorld在RoboColiseum具身智能评测中拿下第一。该方案不靠堆数据,而是让机器人在高保真仿真环境中先“彩排”动作,通过并行推演筛选最优策略,再执行于真机。这种“Simulation as Policy”思路解决了大模型懂指令但不懂物理后果的痛点,尤其在空间理解和通用操作

所属频道 模型发布机器人与具身智能

具身智能的新标尺:从“看懂”到“做对”

11月11日中午,RoboColiseum 更新了最新一期周榜。这个具身智能领域的权威评测平台给出的结果有点出人意料——总榜第一不是哪家科技巨头的通用大模型,而是北京大学数学科学学院杨超教授领衔、壹零壹壹(1011.AI)公司旗下 MXI 团队开发的物理 AI 框架 MXI-SimWorld v0 Preview。

0.9656,这是它的综合得分。细看各分项,没有一处拖后腿:考察认知的“空间理解”和检验动手的“通用操作”两个子榜都排第一,“指令跟随”和“扰动适应”位列第二,四个维度全部进入前二。

RoboColiseum 在圈内含金量不低。Hugging Face、NVIDIA、清华大学等近20家机构联合发起,规则定得很硬:拒绝纸面刷题。域随机化机制加上严格的训练测试集隔离,为的就是尽量压住过拟合。更关键的一点是,它的评测结果与真实机器人表现的相关性接近 90%,同一模型在仿真环境和真机两端的成绩差异小于 10%。换句话说,在这里拿高分,放到现实世界里大概率也能干活。

这次登顶,也照出了当下具身智能领域的一块心病:大模型写代码、做逻辑推理都很流畅,甚至能听懂“把笔放进笔筒”这种指令,可一旦让它指挥机器人干活,为什么还是容易出错?

说白了,通用大模型是从海量文本和图像里学会了世界“长什么样”,至于“做出动作之后世界会变成什么样”,它没学过。

物理世界里没有撤销键。机械臂从哪个角度靠近、物体被碰之后往哪边滑、什么时候松手才不会掉,这些细微的物理反馈只要出错,环境状态就被不可逆地改掉了。GPT-6 Astra、Claude Opus 5.5 等头部通用模型此前也参加过评测,成绩已经接近头部专业具身模型,但碰上这种需要精确物理预判的任务,还是显得力不从心。

MXI-SimWorld 的路子很直接:动手之前,先彩排。

Simulation as Policy:把仿真变成决策的一部分

过去,仿真环境大多用来生成训练数据,让模型在虚拟世界里攒够经验再上线。MXI 团队换了个提法:Simulation as Policy,也就是以仿真支撑策略决策。

具体到执行层面,机器人接到任务后,系统不会直接输出动作。它先在仿真环境里快速预演多种可能方案,挑出成功率最高的那个,再交给真机去做。

视频演示里的桌面整理任务是个例子。机器人要把桌上的黑笔放进笔筒。这一步看着简单,变数却不少:笔从哪儿抓?机械臂走哪条路径才不会碰倒旁边的水杯?直接执行的话,一旦判断失误,东西可能就被打翻了。

SimWorld 的处理流程是这样的:

先通过头部和腕部相机拿到观测数据,认出桌面上的物体,再结合深度信息估计它们的三维位置、朝向和尺度。随后系统检索相似的仿真资产,调整尺寸和外形,快速搭出一个可交互的仿真场景。

接下来是关键一步。系统从同一个桌面状态出发,在多个并行仿真环境里尝试不同的抓取姿态和运动路径。有的方案会撞上障碍,有的可能抓不稳,这些失败轨迹被逐步淘汰,成功的则留下来。

最后,SimWorld 把筛出的最佳轨迹带回原始任务场景,指挥机械臂执行。也就是说,一次真实动作执行之前,系统已经在仿真里预演过多种可能性。

仿真因此不再只是训练场,而成了决策回路的一部分。模型由此得到一个可以反复试错、无限重来的平行世界——在那里摔跟头没有成本,攒下的经验却是真的。

三步走:重建、校准与并行预演

要让“仿真预演”真正靠谱,三个问题绕不开:眼前的画面怎么快速搭成仿真环境?虚拟物体的物理反馈怎么贴近真实?有限时间内又怎么高效预演多个方案?

SimWorld 把整个过程拆成重建、校准和预演三个环节。

第一步是重建,把眼前的场景“搬”进仿真。

SimWorld 的核心组件是可交互世界仿真器。它要的不是一张看起来像的图片,而是有几何结构、空间布局和物理属性的交互场景。系统识别出与任务相关的物体后,依托 MXI 团队自研的“谐物”仿真引擎,按“相似资产检索—未见资产生成—实例级编辑”的流程完成重建。

图片

每个重建出的物体都有两套“身体”:一套是管外观的几何网格,另一套是管接触计算的碰撞体。尺寸、位姿、摩擦系数等参数都能精细调整。一张普通的视觉画面,就这样变成一个可以被物理引擎推演的数字孪生场景。

图片

第二步是校准,让仿真不只“长得像”,还要“动得像”。

图片

场景搭起来之后,物理参数要是不准,仿真结果就没什么参考意义。杯子在仿真里可能滑出老远,现实中却停得稳稳的。

图片

针对这一点,SimWorld 用上了上下文学习(In-Context Learning)。训练样本里物体被操作的过程被拿来当参照,系统从中分析动作和物体运动怎么对应:接触点落在哪,撞完怎么动,松手后又怎么滚。随后靠轨迹重演,把仿真结果和参考视频里的运动过程、最终状态摆在一起比,物理参数一轮轮调。

图片

走完这一步,重建出的场景就不只是看着像,在动作作用下也“交互准”了。

第三步是预演:在多个平行世界里同时试,挑出最好的那个去执行。

环境可信之后,SimWorld 的自进化动作策略会把当前状态复制进多个独立仿真世界。各候选方案起点完全相同,分别去检验搬运路径、接近方向、释放位置和放置动作。

筛选看几项:机械臂够不够得到、路径会不会碰撞、物体落点在哪、放置稳不稳。执行完成后,新的视觉观测更新物体状态,实际结果再与仿真预测对齐,成为下一轮搜索的起点。

这里有条硬约束:RoboColiseum 是限时评测。仿真里试再多,动作也得在时间预算内给出。“观测处理-场景更新-候选方案生成-物理推演-结果筛选”整条决策链路,因此必须跑得极快。

快,正是 1011.AI 的底气。其自研“谐物”仿真引擎在求解算法和硬件适配上做了大量优化。测试数据显示,在 RTX 5090 平台、双精度计算条件下,该引擎在典型刚体、刚柔耦合以及布料、线缆等大形变场景中的物理求解速度,达到 Genesis、MuJoCo、Newton 等主流物理引擎的 2 倍以上。

速度快了,单位时间内能验证的方案就更多,决策也更从容。

从数学原理到物理智能

MXI-SimWorld 背后,是北京大学数学科学学院杨超教授团队的长期积累。

杨超教授深耕高性能计算,2016年曾带团队拿下国际超算领域最高奖 ACM 戈登·贝尔奖,实现中国在该奖项上零的突破。1011.AI 成立于2026年6月,专注物理 AI 基础设施和模型研发,成立以来已完成过亿元融资。

团队正在搭“高性能计算+物理仿真+AI”的全栈技术体系。此次登顶的 SimWorld 之外,MXI-RoboICL、MXI-Hybrid-v0 等系列模型也将陆续发布。

SimWorld 不只在刚性物体操作上表现突出,更难的流体任务也通过了 Sim2Real(仿真到真机)验证。定量倒水任务中,流体与容器的交互公认是最难仿真的类别之一,谐物引擎的仿真结果与真机表现保持了较好的一致性。

大模型已经解决了“想得懂”,要让它“做得好”,还得让它知道行动会带来什么后果。

现实中没法一遍遍试错,于是先为机器人搭一个可信、可交互、能无限重来的世界。该摔的跤,先在里面摔够,再上场。SimWorld 能登顶 RoboColiseum,原因或许就在这里;具身智能要从“感知”迈向“行动”,这也算一条务实的路子。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com 子曰” 大模型 子曰是网易有道推出的教育领域垂直大模型,包含基于子曰大模型研发的六大创新应用——“LLM翻译”、“虚拟人口语… 聊天对话 · youdao.com 曹植大模型 曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多… 聊天对话 · datagrand.com 西湖大模型 西湖大模型官网,智商情商俱佳的多模态大模型 简介 西湖大模型是西湖心辰开发的多模态大模型,西湖大模型既具备通… 聊天对话 · xinchenai.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 北大数院团队MXI-SimWorld登顶RoboColiseum具身评测总榜

    在 RoboColiseum 最新一期周榜中,MXI-SimWorld 以 0.9656 的成绩位列总榜第一、空间理解、通用操作子榜第一。当大模型开始走进物理世界,如何让机器人理解指令、感知环境并完成操作,成为具身智能领域的重要课题。11月11日,RoboColiseum 官方发布新一期周榜,榜单显示,截至2026年1

    来源 腾讯网
  2. 英伟达开源GR00T 2:人类视频如何教会机器人干活

    英伟达在CoRL大会发布新一代机器人基础模型GR00T 2,核心突破在于利用40万小时人类视频实现跨本体技能迁移。该模型支持从人类示范直接迁移到机器人,无需针对每种机型重新采集数据。同时开放10万小时数据集及完整工具链,旨在降低具身智能开发门槛。文章解析其技术原理、数据构成及与Anthropic新模型的对比。

    来源 AI 应用前沿
  3. Claude Opus 5.5领跑WorkflowArena:长程任务完全解决率仅36.95%

    Einsia AI发布WorkflowArena基准,评测大模型在软件工程、法律等领域的多智能体编排能力。结果显示,即便最强的Claude Opus 5.5,面对复杂长程任务的完全解决率也不足37%。研究还发现,擅长执行任务的模型未必擅长编排,而优秀的编排策略能让弱模型性能显著提升。不同模型呈现出“谋定后动”与“小步快

    来源 AI 应用前沿
  4. 蚂蚁灵波:5000小时数据如何破解机器人手感难题?

    Anthropic的Fable 5.2展示了通用大模型在机器人操作上的潜力,但精细操作仍依赖高质量触觉。蚂蚁灵波发布LingBot-Touch,通过近5000小时真实触觉数据预训练,统一了视触觉、磁触觉和压阻式三种传感器信号。实验显示,该模型能显著提升不同灵巧手在拧瓶盖、旋转物体等26项真机任务中的成功率,且具备跨硬件

    来源 AI 应用前沿
  5. 具身智能数据采集员:日薪180元,给机器人当“老师”的流水线工人

    我成了流水线上随时可以被替换的人。 文 | 王智鹏 编辑 | 刘思洁 视觉 | 曲枚 我满脑子里都是《克莱因壶》里那只手套,薄薄一层液体夹层,电流一接,手掌就能触碰到虚拟世界。刚开始我以为数据采集也是这样的。 今年7月,人社部公示拟新增12个职业,“具身智能机器人应用技术员”是其中之一,“数据采集员”正是其下的具体..

    来源 腾讯网
  6. Anthropic估值从2万亿降至1万亿:国内大模型公司面临新考验

    从2万亿美元到1万亿美元,全球AI估值体系正在经历一次现实检验。 Anthropic的IPO,原本被视为全球人工智能产业的一场资本盛宴。 这家Claude大模型的开发商,计划登陆纳斯达克,成为全球资本市场第一批接受公开市场检验的顶级AI实验室之一。按照此前投资者的预期,其上市估值一度有望达到2万亿美元。 但这场盛宴还没

    来源 AI 行业观察
  7. Claude三天改写GPU内核,英伟达CUDA壁垒还稳吗

    作者 | 四月计算产业半个世纪的历史反复证明:最难被逾越的工业壁垒,往往不是硅片本身的物理极限,而是数以万计的工程师长期积累的技术经验、海量存量代码,以及由此形成的高昂迁移成本。英伟达耗时近二十年搭建的 CUDA 帝国就是最生动的例子。然而,这道看似坚不可摧的防线,正因它的产物——大模型而开始动摇。11 月 11...

    来源 腾讯网
  8. 北京:建立具身智能机器人企业上市“一对一”服务机制,培育优势龙头企业

    IT之家 11 月 11 日消息,为加快推动北京市具身智能机器人产业高质量发展,北京市经济和信息化局今日印发《北京市具身智能机器人产业高质量发展行动方案(2026-2028 年)》。 IT之家注意到,该《行动方案》提到建立具身智能机器人企业上市“一对一”服务机制,培育优势龙头企业。在整机、关键零部件、具身智能模型和数据

    来源 AI 行业观察
  9. 蚂蚁灵波开源触觉模型LingBot-Touch:三类传感器统一成触觉Token

    这两天,Claude Fable 5.2的消息大家都看到了,真机演示了拧瓶盖、解魔方、画画等任务,一气呵成,直接把双臂泛化成功率拉到64.9%,是Astra的两倍还高。 同一时间,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,把磁触觉、视触觉、压阻式三类完全不同的传感器信号统一成同一套“触觉Token”,供不

    来源 AI 行业观察
  10. 豆包4.2亿月活领跑:模型最强的DeepSeek为何反跌15.2%

    国内 AI 应用排在第一的,不是模型最强的那个。模型最强的那家,用户还在往外走。 最便宜的模型,用户反而在流失 QuestMobile 2026 年 9 月的数据:AI 原生 App 月活前四名是豆包 4.2 亿、千问 1.58 亿、DeepSeek 1.23 亿、元宝 3733 万(QuestMobile 秋季大报告

    来源 AI 行业观察
  11. 智谱MiniMax等大模型厂商:Token订阅最低三折,首战双11

    11月11日,天猫商城的天猫AI空间站显示,智谱、MiniMax、千问AI、Qoder等大模型厂商,相继推出五折甚至三折的Token(词元)订阅套餐。这是大模型厂商首次集体参与“双11”网络促销活动,也是其加速向C端(消费端)商业化进程的重要营销事件。

    来源 华尔街见闻
  12. Hugging Face力推决策模型:不生成文本,靠概率做路由

    大语言模型擅长生成文本,但处理分类、路由等结构化任务时显得笨重且不可控。Hugging Face 推出的“决策模型”通过标准化接口,直接输出带概率的决策结果,支持多选、打分和二元判断。文章解析了其与传统分类及零样本分类的区别,并介绍了在 Transformers 和 llama.cpp 中的部署与训练方法,为构建更可靠

    来源 AI 应用前沿
  13. 千问预告Qwen4:Qwen4-Max预览版上线阿里Token Plan,限时最低1折

    11月11日,千问大模型官方预告全新一代千问大模型Qwen4即将发布,并同步开放Qwen4-Max预览版。官方称新模型在知识理解、世界感知以及Coding与Agentic能力上持续进阶,知识理解更深入、世界感知更立体;从复杂编程、专业办公到前端设计、专业软件操作,Qwen4在实际任务测试中已交出阶段性成果,但未披露具体

    来源 AI 开发者社区
  14. AMD Zen 6发布:Agentic AI时代CPU为何重回中心

    在最初那些年, AI 数据中心的建设几乎围绕 GPU 展开。从大模型训练到推理, GPU 成为整个基础设施中最受关注的计算芯片,而 CPU 更多承担数据准备、任务调度和系统管理等工作。在这种分工之下,服务器 CPU 一度显得不那么重要。 但随着AI从大模型训练、推理逐步走向Agentic AI,情况正在发生变化。一个A

    来源 AI 行业观察
  15. 纽约AI安全法落地:OpenAI、Anthropic须登记披露并上报事故

    纽约州开始执行其范围广泛的AI安全法,要求OpenAI、Anthropic等主要AI开发者完成登记、公开安全实践,并在发生关键事件时上报,违规将面临罚款。这部法律把“登记—披露—上报”的组合拳落到前沿模型身上,也把美国州层面的AI监管推向新阶段,企业合规成本与联邦—州监管博弈随之升温。

    来源 AI 科技快讯
向下滚动自动加载更多