编程智能体操控机器人怎么测评:EFE用1156个任务拆解失败步骤
让编程智能体控制机器人,该怎么考?EFE 的答案是:只规定结果,不规定做法;同一道题最多分三种模式考;不只打分,还要找出失败的原因。考编程智能体,难在它没有固定的做法。训练好的机器人策略只做一件事:把画面和传感器读数变成动作。编程智能体却可以直接操控机器人、编写控制程序,或者先训练一个策略再上场。要公平地考这样的智能体
让编程智能体去操作机器人,测评该怎么设计?EFE给出的思路是:只把结果定死,路径交给智能体自己选;一道题最多拆成三种模式来考;分数之外,还要查清失败出在哪。
测评编程智能体,麻烦在于它没有套路可循。训练好的机器人策略功能很单一,就是把图像和传感器读数转成动作。编程智能体的路子则宽得多,可以直接操纵机器人、自己写控制程序,也可以先训一个策略再让它上场。
要想公平地比出高下,题目、条件和打分方式都得推倒重来。西北大学、卡内基梅隆大学等 8 所高校的研究者因此搭起了 Embodied First Exam(EFE,具身第一考),在同一套框架下考察各类编程智能体操控仿真机器人的本事。这项工作贡献了四条内容:三条设计原则,外加一份系统分析。
任务面要铺得开,不能只围着抓取和放置转。整套题库包含 1156 个任务、35 个任务集,覆盖 47 款机器人。
还要测出成功率随物理约束怎么变。每道任务最多设三种模式,分别调整智能体能获取的信息、能不能重置、环境会不会等它。
面向不同模型、智能体框架和控制方式,团队提供了统一的基础设施。跑起来只要一条命令,换模型或换框架改两个参数就行;智能体可以走直接控制、写程序、训策略三条路(图 1)。
评分不是终点,找到失败原因是另一项要求。团队用对照实验把各项条件的作用分开,再把任务切成阶段,看每次失败落在哪一步。
图 1|统一框架:兼容多种模型与智能体框架、控制方式和仿真器;评测分为特权、标准、实时三种模式
论文标题:Embodied First Exam
论文链接:https://arxiv.org/abs/2611.12177
项目主页与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai
代码:https://github.com/mll-lab-nu/embodied-first-exam
一、考什么:
不止抓取放置
从已有基准改编来的 745 个任务里,618 个用的是单臂、双臂或移动机械臂。其他机器人和能力方向的空白,由团队新建的 9 个任务集补上,这些任务集分成三组:
第一组要求持续接触的精细操作(RoboARC、DexHandExam、RoboPaint),涉及可变形物体、多零件装配和工具使用。
第二组面对运动中的物体和对手(RoboDynamicExam 和两个 Embodied Olympics 任务集),出手时机必须拿捏准确;考试里的人形机器人任务大多归在这里,比如下面视频中的扣球。
第三组考的是超出「执行给定目标」范围的能力(iSpatialGym、Embodied Safety Exam、RoboEngineer):自己弄懂目标、判断请求安不安全、让控制器适应陌生的动力学。
视频链接:https://mp.weixin.qq.com/s/bU4E00ZyiUQRTHGT6zklyA
人形机器人扣球过网(Embodied Olympics - Fun):GPT-6 Astra,
团队从 1156 个任务中挑出 456 个高难度任务组成核心集,用它们评测了 10 个编程智能体。各任务集难度差距不小(以下只统计至少有 5 项测试的任务集):按五个强智能体(Claude Fable 5.2、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon)的平均成功率来算,
图 2|各任务集的成功率:圆点代表五个强智能体各自的成功率,条形代表它们都没解出的测试占比,黑色表示至少一半
从 10 个智能体全部解出,到没有一个能解出,中间每一档都有测试分布:难度是连续的,这套考卷能把智能体拉开档次:较弱的智能体也基本解不出强者解不出的题:五个较弱智能体在
核心集剔除了团队判定为简单的任务,也剔除了初筛模型 GPT-6 Luna 已经解出的任务。GPT-6 Luna 与 GPT-6 Astra、GPT-6.1 Sol 属于同一系列,这样的筛选方式可能让该系列吃亏。按
题目定下来了,接下来要在什么条件下考?
二、在什么条件下考:
同一道题,条件逐级收紧
同样的任务换到不同模式,开端场景、判定成功的口径和限时都不变,变的只是下面这几项条件。
把同一任务在各模式下的成绩摆到一起,收紧条件带来的影响就显出来了。连续头球十次就是例子(图 5):
图 5|连续头球十次(Embodied Olympics - Fun):图中每个智能体占两行,S 指标准模式,P 指
按第四节的方法把任务切成阶段,再逐段对比特权模式与标准模式的失败率(即到达该阶段的尝试里失败所占比例),精细阶段受到的影响明显大于粗略阶段。在至少两个任务集中都露过面的阶段类型里,组装、对准位姿、接触移动物体这类精细动作,切到标准模式后失败率涨了 19 至 51 个百分点;放置、抓取这类粗略动作,9 类里有 7 类只涨 3 至 18 个百分点(图 6 中)。组装从 25% 升到 76%,放置从 18% 升到 31%。只有分开考,才能看清收紧条件究竟卡在哪一类动作上。
图 6|左图:GPT-6 Astra 在第四节所述逐项恢复特权能力之后取得的成功率;中图:特权与标准两种模式下,各阶段类型的失败率对比;右图:GPT-6 Astra 基线运行里未通过的测试,按失败阶段归为精细(黑)与粗略(灰)两类,并给出各条件下的解出比例
条件已经定好,接下来该选什么平台来考?
三、用什么考:
只限定结果,不限定做法
EFE 只管三件事:起点在哪、给多少资源、成功怎么判。
统一打包。每个任务按
独立评分。评分程序跑在智能体容器之外,智能体改不动评分结果。
抹掉已知答案。改编后的任务保留原基准的场景、机器人和成功标准(部分任务集的成功标准更严),原基准的专家策略和演示数据则被删掉。
资源设上限。每个任务都卡时间、token、CPU、内存和磁盘,要 GPU 的任务还卡显存。时限中位数为 1 小时,区间是 30 分钟到 4 小时。
在这个框架里,怎么控制由智能体自己定,不同模式下的选择差得很远。两次随机抽样合计 1760 次尝试(不含Claude Fable 5.2和Kimi 3.1 Pro),标准模式下 63%走直接控制,每发一段动作就看一次图像和传感器;特权模式下 79%靠写程序算动作;
框架能换,框架本身的影响也就能量出来。差距最明显的是 GPT-6 Astra:在 Codex 中解出 34%的标准模式核心测试,换到 Claude Code 只剩 27%;Claude Opus 5.5 在两个框架里成绩差不多。因此 EFE 的榜单按「模型+智能体框架」列成绩。
考完只拿到成败结果。想改进智能体,还得弄清它为什么失败。
四、系统分析:
不只打分,还要找出原因
EFE 找原因靠两条路:一是用对照实验把不同条件的影响拆开,二是把任务切成阶段,给每次失败定位。
对照实验:逐项补回能力
特权模式比标准模式多出的能力里,有两项是所有物体的精确状态和不限次重置。这两项各占多大分量?团队在标准模式的接口上给 GPT-6 Astra 逐项补回,每种条件跑一次(图 6 左)。
补回能力后再跑一遍,本身也是一次重考,有些失败再试一次就过了。为了排除这种可能,团队另设一组对照:什么能力都不补,只是不再告知智能体成功与否,大致等于再考一次。
在基线运行中败于精细阶段的 91 项测试上(图 6 右):对照组解出 19%;补上精确状态解出 21%,跟对照差不多;补上不限次重置解出 36%,且几乎都是在重置或恢复存档之后成功的。对精细阶段来说,看得准还不够,得能反复试。
失败定位:把任务拆成阶段
评分程序只看一次尝试成没成,并不告诉你错在哪儿。为此,EFE 给 427 个核心任务分别配了一张
一次失败的尝试,最多只标一个失败阶段。要是中途出了摔倒这类没法挽回的事,就记这件事发生的那个阶段;不然就记智能体最早犯下、后来也没纠正的错误所在阶段。拿图8的搬运杂货任务来说,Claude Opus 5.5 搬牛奶时摔倒,失败阶段落在第4阶段,失败现象是失去平衡。
把同一个任务上各个智能体的失败阶段摆到一起,谁停在哪一步就一目了然。穿绳是个例子(图9):绳子得按孔、环、孔、环、孔的顺序穿过5处。标准模式下,只有 Claude Opus 5.5 做完了;Claude Fable 5.2、GPT-6 Astra 和 Gemini 4 Argon 都卡在第二个环,五个较弱的智能体里有四个连第一个孔都没穿过去。
任务图
图 9|穿绳(RoboARC,标准模式):绳子要依次穿过孔、环、孔、环、孔,共 5 个阶段;各智能体到达的阶段与失败阶段,以及失败时的画面
阶段划出来,难点卡在哪一步也就清楚了。团队统计了 192 项标准模式测试,入选条件是至少三个阶段、且至少有四次失败能定位到阶段。结果有 51 项、大约四分之一,八成以上的失败都集中在同一个阶段,连续接球两次就是其中一例(图10)。
图 10|连续接球两次(RoboDynamicExam):各智能体到达的阶段与失败阶段,以及标准模式下三次失败的回放画面
局限
这个任务里,机器人先用杯子接住抛来的球,倒进滑槽,等球顺坡道滚下、反弹后再接一次,末了倒进移动的小车。标准模式下十个智能体全都没成。Claude Fable 5.2 走得最远,两次都接住了,最后往移动的小车倒球时,球落在了车旁。其余九个里有八个接住了第一个球,却都栽在第二次接球上,原因还不一样:有的在倒球或挪空杯时碰了滑槽、坡道;有的在调整杯子迎反弹球时,机械臂撞上了场景;有的球始终没倒出杯子;有的杯子还没放低,球就到了。Claude Opus 5.5 在自己的报告里算过:球离开杯子后,大约只有 1.3 至 1.6 秒可以接,而倒完球再把杯子摆正,就要花约 1.4 秒。
这套考法也有短板。每项测试只跑一次,在只有五六项测试的任务集里,一项测试的成败就能让成功率上下浮动 17 至 20 个百分点。标注工作大部分由 GPT-6.1 Sol 完成,可它本身也是受测智能体,标了自己的尝试,还和 GPT-6 Astra 同属一个系列。GPT-6.1 Sol 的三次运行还显示,同一个智能体再考一遍,能解出的测试会有很大出入。团队打算把核心测试重复跑,给出置信区间。作者名单见论文。