刚刚,Fable 5.2登顶RoboColiseum新榜单
刚刚,Fable 5.2登顶RoboColiseum新榜单
新智元报道
新智元报道

新赛季成绩单里,Claude
Fable 5.2 排到了综合榜首,得分18.30。精细操作这一项它拿了33.04分,跨本体迁移是17.99分,两个单项也都排在最前。反倒是灵巧手,成了这位综合冠军分数最低的一环。
精细操作能排第一,灵巧手却只有3.73分,差距从哪来?挂件衣服、把东西稳稳攥住,这些动作人做起来不假思索,换到大模型身上,卡点究竟在哪?
这季RoboColiseum把现实里机器人真要干的活摆上了考场。灵巧手操作、全身协同、精细操作、本体迁移,四条赛道共50个任务。评分不只看任务能不能从头做到尾,还要看做得够不够快。

给手机充电、拿衣架挂衣服、捡起垃圾、用钥匙开门,新赛道安排的都是机器人进入现实环境后躲不开的活。这些动作看着平常,却要手指、双臂连同身体一起配合才能完成。
RoboColiseum把这些实际需求搬进了仿真考场,四条新赛道、50个任务,考的就是模型能不能把一件事从开头一路做到结束。
灵巧操作这一项,考的是从多根手指协同到借助工具完成动作。
比如挂一件衣服,机器人得先抓住衣物把它撑开,把衣架穿进去,再调整好位置,最后挂到衣杆上。
衣服软,容易变形,多根手指要配合着抓,两只手也得协调起来,这一串动作才做得下来。
这条赛道一共10项任务,颠锅、还原魔方、系垃圾袋、双手搬运包裹等操作也在其中。
|
|
|
|
全身协同考的是底盘、躯干和双臂能不能一起动起来。
捡垃圾,先得移动到合适位置,再调整身体、伸手去抓;擦黑板则要底盘移动和躯干调整配合,手臂才够得到、擦得净不同位置。
该赛道有捡垃圾、放餐盘、传送带取货、钥匙开门、擦黑板等8项任务,看的是机器人能不能把移动和操作连着做下来。
|
|
|
|
精细操作这一项,考的是接头找到了之后,究竟能不能插进去。
给手机充电时,两条手臂得分别控制手机和接头,位置与方向要同时对准。这个赛道一共设了手机充电、拼积木、接网线、装轴承、手机打包等8类任务,拼的是小零件对位、接触和装配的功夫。活干得越到后头,动作越得做准。
|
|
|
|
本体迁移考的是换一副「身体」之后,机器人还能不能接着干活。跨本体赛道包含挂杯子、换键帽、拿笔写字、倒水等6类任务,分别放到ARX、AgileX、G1和G2四种机器人上测试,加起来是24个评测任务。
关节结构、活动范围、夹持工具一变,模型的动作也得跟着调整。这一项检验的就是同一个模型能不能适应不同的机器人。
|
|
|
|
|
|
榜单目前收录了8款Agent与3款策略模型的成绩。综合分排在第一的是Claude Fable 5.2,为18.30分;GPT-6 Astra拿下13.73分,Claude Opus 5.5以11.77分排在第三。
Fable不只在总分上领先,精细操作、跨本体迁移两项也排在最前,得分分别是33.04和17.99。全身协同这一项,Astra拿到18.96分,Opus是18.94分,两个数字几乎一样。
灵巧手赛道的情况完全不同。8款Agent在这一项上拿到的都是自己的最低分:综合第一的Fable只有3.73分,Astra和GPT-6.1 Terra双双是0.00分,Agent里该项最高的Gemini 4 Argon也不过5.19分。多根手指怎么配合、怎么稳稳抓住并操作物体,这些大模型至今没解决好。
策略模型在灵巧手上的表现要好得多。π₀.₅以16.79分排在该赛道首位,LingBot-VLA-2.0和GR00T N1.7分别为10.66分和5.53分,三家都超过了榜单里的8款Agent。π₀.₅的综合分是11.22分,位列第四。
对擅长灵巧控制的团队来说,这份成绩单指出了一个清楚的方向:大模型还没做好的操作,策略模型已经显出优势,后续还有机会把差距继续拉大。
同一套题反复练,模型有可能靠「背题」刷出高分。RoboColiseum新赛季为此加了三重防Hack机制,压掉「背题」和动用特权信息带来的虚高分数,让成绩更贴近模型的真实水平。
第一重是隐藏测试集:练习场景对外公开,正式考题则保留不公开。
开发者拿开源场景做开发和调试就行。服务器上的正式测试场景分布跟它一致,具体布局却不一样,目的就是看模型能不能扛住没练过的局面。
第二重是动态抽检:换一批题再看表现。平台留了一套固定的正式测试集用来计分,另外设一套随每次提交变动的动态测试集。动态集不进总分,只拿来跟正式集对照,看模型有没有过度适应固定考题。两组成绩差得太多,相关方案的上榜资格就会被限制。
第三重是人工审核:专门排查违反评测规则的不当行为。自动检查之外,平台又加了人工环节,进一步识别那些违反评测规定、恶意刷分的做法。
Agent和策略模型分开评,同类方案放同一个榜单里比。Agent能在观察、推理和动作之间来回切换,VLA、WAM这类策略方案一般按动作序列执行任务。两类方案的交互方式和执行节奏不一样,本轮更新把它们分开管理,给Agent单设榜单,参评团队就能在同类方案之间比表现了。
最后,执行效率也计入了评分:任务完成时,模型一共执行了多少次?新规则给Agent设了执行次数上限,阈值参照训练数据来定。模型反复观察、思考、尝试,次数超出合理范围后,就按超出的程度扣分。
任务完成情况同样算数:评分保留了中间步骤的进展分,对在规定步数内完成任务的方案还额外加分。任务推进到哪一步、整项工作有没有做完、总共用了多少步,都会影响最终成绩。
仿真评测到底值多少,关键就看一件事:仿真里跑出的结果,能不能对得上真实世界的表现。为把可信度量化出来,RoboColiseum 做了一轮大规模对照实验——仿真环境不做任何适配调优,真实世界训练出来的模型直接被丢进去,做零样本评测(zero-shot real-to-sim)。
实验横跨 4 款不同机器人本体、覆盖 22 项复杂任务,测出的仿真与真机任务得分相关性为 96.86%。也就是说,仿真里的分数不再是一张「虚拟成绩单」:在仿真中暴露的缺陷、验证有效的策略,都能以很高的可信度迁移到真实机器人上,真机调试的试错成本随之大幅下降。
22 项复杂任务真机-仿真评测结果一致性对比
数据准备、模型接入、提交评测、查看结果,整条流程跟 AI 对话就能走完。RoboColiseum 提供了 AI 可调用的 Skills,开发者完成安装与必要配置后,就能通过对话让 AI 下载训练数据、接入推理服务并发起评测,流程跑得更快,成绩也拿得更早。
任务在平台上建好、推理一启动,仿真运行、场景调度和评分便由RoboColiseum自动接手;进度、分项成绩和评测结果也都能查。提交到出分之间的每个环节都有支撑,团队就能把精力更多放在分析失败原因和改进模型上。
眼下已有八大模型走进RoboColiseum具身角斗场。本轮评测显示,灵巧控制、精细操作和跨本体迁移都还有不小的提升余地;这些没解决的难题,同样是后来者实现超越的窗口。
四条新赛道、50个任务现已开放。策略模型和Agent系统的研发团队,可以带自己的模型进场,向这八大模型发起挑战。下一个越过它们的,也许就是你的模型。
新赛季的挑战已经开始,RoboColiseum的评测体系也会继续向外拓展。
走进RoboColiseum具身角斗场,参与评测,发起挑战!










