Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板
Fable5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题
新智元报道
新智元报道

数字世界里,编程智能体已能搞定复杂任务;接上编程接口,它们还能指挥真实世界里的机器人干活。
可机器人任务跟软件任务压根不是一回事:智能体只能靠传感器摸清环境,动作一旦执行往往收不回来,环境也不会停下来等它想清楚。
基础问题随之而来:通用编程智能体究竟能拿下哪些机器人任务?在什么样的物理约束下还能完成?又会在哪一步栽跟头?
西北大学、卡内基梅隆大学等8所高校的研究者为此拿出了Embodied First Exam(EFE,具身第一考)。这是一个统一评测框架,把各类编程智能体接进仿真机器人里考察。
图1|EFE 总览:任务规模、运行命令与三种模式
论文链接:https://arxiv.org/abs/2611.12177
网站与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai
代码:https://github.com/mll-lab-nu/embodied-first-exam
视频与轨迹数据:https://huggingface.co/datasets/MLL-Lab/embodied-exam-data
这项工作共有四项贡献:
-
第一是一套统一考卷,规模大、种类多、难度高。1156个任务、47种机器人,覆盖面远不止桌面上的抓取放置;即便是最强的编程智能体,在456项标准模式核心测试里也只解出一半。
-
第二是三种评测模式,用来量出离真机还有多远。同一批391个核心任务上,最强者在特权模式(可读取完整仿真状态、重置次数不限)下解出80%,到了标准模式(只靠传感器、默认不能重置)就只剩47%。
-
第三是统一的基础设施。一条命令就能开考,换模型、换智能体框架只改两个参数;机器人怎么控制由智能体自己定:直接下指令、写控制程序,或者训练策略都行。
-
第四是系统分析,不只给分数,还找原因。针对GPT-6 Astra的对照实验里,补上重置比补上精确状态更管用,看得准不等于做得准;逐阶段标注10个智能体的6027次失败后发现,不同智能体常常败在同一步;足球任务中,只要有GPU和训练库,智能体多半会自己去训练策略。
EFE的体量摆在这儿:1156个任务、2288项测试,覆盖35个任务集、23个仿真器、47种机器人。所谓一项测试,就是一个任务在一种模式下考一次。机器人按形态分成8类——单臂、双臂、灵巧手、人形、移动机器人、四足、飞行器,还有肌肉骨骼模型。
多样性上,团队没有只啃现成基准。26个任务集改编自已有基准,另外9个任务集、411个任务是新建的,考的东西超出桌面抓取放置:解绳结、组装宜家家具、用灵巧手翻书、用画笔临摹画作;接住抛来的球,打完一整场乒乓球或击剑比赛;只凭一张完成后的目标画面完成任务;识别并拒绝危险请求;把控制器部署到动力学未知的仿真器上。
标准模式下有个例子:GPT-6 Astra只靠传感器读数控制人形机器人打乒乓球,整场比赛以5比2拿下。
易用性方面,所有任务用同一种格式打包,各家智能体框架(harness)不用改动就能接入。开考一条命令就够:
harbor run -d embodied-first-exam -a codex -m openai/gpt-6-astra
想换智能体框架或模型,改-a和-m两个参数就行。比如换成Claude Code里的Claude Opus 5.5:
harbor run -d embodied-first-exam -a claude-code -m anthropic/claude-opus-5-5
每次尝试的日志都挂在网站上公开,大多能逐步回放。
难度是筛过的。团队挑出456个高难度任务作为核心集,简单任务和初筛模型已经解出的任务都排除在外,评测10个智能体,每项测试运行一次。456项标准模式核心测试上,最强的Claude Fable 5.2(Claude Code)解出50%,GPT-6 Astra(Codex)34%,GPT-6.1 Sol(Codex)32%,Claude Opus 5.5和Gemini 4 Argon分别是25%和24%,Kimi 3.1 Pro为10%,剩下四个都不到7%。
实时模式更难。54个任务同时考标准和实时两种模式,实时模式下近一半(46%)的测试没人解出,标准模式下这个比例是35%。
图3|10个智能体在核心集上的成功率,括号内为解出数
最强的也只解出一半,剩下的题谁来解?
图中每一次尝试都有对应标记:一行代表一个智能体,一列代表一项测试;从灰到黑的格子表示解出,颜色越深花费越高,底色最浅的格子表示失败。上半部分对应标准模式,下半部分对应特权模式。
图4|核心集上的每一次尝试:上为标准模式,下为特权模式;行是智能体,列是测试
标准模式的456项测试里,169项没有任何智能体解出。剩下的题也没谁能全包:另外四个强智能体加起来,解出了60项Claude Fable 5.2没解出的测试。
拿GPT-6 Astra来说,它解出的157项中有39项Claude Fable 5.2没解出,其中一半以上来自安全判断(Embodied Safety Exam)、家务(BEHAVIOR-1K)和绘画(RoboPaint)三个任务集;
Claude Opus 5.5解出的114项里,46项GPT-6 Astra没解出,其中不少是搬运物体的任务。题目够多样,就算最强的智能体,也有别人能解而它解不了的题。
特权模式下,各智能体解出的题大多重合:391项测试中只有43项无人解出,Claude Fable 5.2一家就包了所有已解测试的89%。每项测试只跑一次,上面的差别有一部分可能来自运行之间的波动:GPT-6.1 Sol一次运行解出的标准模式测试,再跑一次只能解出其中的56%至70%。
同一批智能体,开卷时解出的题大多重合,闭卷时各有短板。条件收紧之后,到底发生了什么?
同一项任务,共有三种考法,条件从宽到严依次收紧:
-
先说特权模式(Privileged):仿真状态全部可读,重置次数不设限,能一遍遍试错,性质上接近开卷考试,其成功率大致可视为上限。
-
标准模式(Standard)只给传感器观测,默认不允许重置,相当于闭卷考试,对应的是真实机器人所处的条件。
-
实时模式(Realtime)则在标准模式之上再加一条:智能体思考期间,环境照常运转。
无论哪种模式,评分程序都放在智能体碰不到的地方运行。
图 6|391 个同时具备两种模式的核心任务:各智能体在哪种模式下解出
这391个任务里,Claude Fable 5.2在特权模式下解出311个(80%),到标准模式只剩47%。而那311个中,有136个一换到标准模式就失败。
换到标准模式后,最容易出问题的是需要精确对准的步骤。以Claude Opus 5.5给风扇装前罩为例:特权模式下它把前罩对正装了上去,偏差0度;
到了标准模式,它把前罩举在偏离风扇轴线36至39度的位置,可安装只容许5度偏差,再往里推,整个风扇都被推动了。
图7|给风扇装前罩(DexHandExam,Claude Opus 5.5):上为特权模式,下为标准模式,红色标出出错处
成绩只能说明做没做到。EFE还把原因逐项拆开分析:差距来自哪里,失败卡在哪一步,智能体会不会换一种做法。

标准模式相比特权模式缺了两样:所有物体的精确状态,以及不限次重置。哪一样更关键?团队拿GPT-6 Astra做对照实验,每种条件各跑一次。它在这391个任务上的落差比Claude Fable 5.2还大:特权模式79%,不补任何能力时只有29%(341个任务按标准模式、50个按实时模式考,与第一节的34%并非同一个分母)。
团队在标准模式接口上,为它逐项补回特权模式的能力:补上精确状态,升到45%;补上不限次重置,升到53%;两样都补,达到68%,已接近特权模式的79%。
图 8|左图是 GPT-6 Astra 在逐项补回特权能力之后的成功率;中图对比精细、粗略等各类阶段在特权模式与标准模式下的失败率;右图统计的是 GPT-6 Astra 基线运行中失败的测试,按失败阶段归为精细(黑)与粗略(灰)两类,并给出各条件下解出的比例;第一行作为对照,不补任何能力,只是重考一次
补上精确状态,等于让它看得准;补上重置,等于让它能反复试。后者更管用:有重置之后,三分之二(66%)的成功来自从中途存档处重新开始的回合,智能体只重试难的那一段,不用从头再来。
按失败阶段分开看(图8右),差别更明显:败在抓取、放置这类粗略阶段的测试,补上精确状态就能多解出不少;败在组装、对准位姿这类精细阶段的,补精确状态几乎没有帮助,补上重置才明显管用。看得准,不等于做得准。
图 9|左:失败阶段的集中程度;右:各类阶段一旦到达后的失败率
有两点发现最值得看:
-
失败常常扎堆:换智能体、换模式,败的地方往往是同一个阶段。只看五个强智能体,标准模式下同一项测试里不同智能体的两次失败,平均55%落在同一阶段;若失败阶段随机分布,这个数字只有30%。这个阶段常常就是任务的第一个阶段;但排除两种模式都败在第一阶段的任务后,仍有59%的任务在两种模式下最常见的失败阶段相同,随机分布时只有9%。
-
最难的是改变物体本身、让机器人自己移动的阶段。擦拭等材料类阶段一旦到达,失败率56%;行走等身体类阶段39%;开门等机构类阶段17%。这些类别多集中在特定任务集和机器人上,所以这组数字还不能说明类别本身导致了失败。
做不准的时候,智能体会不会换做法?EFE不规定控制方式。智能体可以直接控制——发一小段动作,看一眼画面,再决定下一步;也可以编写控制程序,或者训练策略;还能混着用。
平时智能体很少训练策略,但条件具备时,它们会主动训练。
足球任务分为两个版本,场景和对手都一样,智能体在两种情况下都要逐个关节地操控两台人形机器人。差别在于,GPU版会额外给出GPU、强化学习库,以及一个可在GPU上跑的训练用比赛环境,说明文档里还附了一段训练示例;CPU版则一律不提供这些。
在标准和实时两种模式下,GPU版共尝试28次,其中25次用强化学习训练了策略,赢的8场全部由训练得到的策略拿下;CPU版同样尝试28次,训练策略的只有1次,智能体大多靠手写步态应对,最终只赢下1场,且是平局后点球大战取胜。
拿标准模式下的GPT-6 Astra来说:给它GPU,它就能训练行走和控球策略,以10比8取胜;只给CPU,它只能手写步态,机器人摔倒59次,以3比13提前告负。上述次数中包含了智能体框架对比实验的运行,因此有的模型不止出现一次;两个版本还在多处同时存在差异,单看这一项任务,还无法判断究竟是哪一处差别起了作用。
图 11|足球任务中的 GPT-6 Astra(标准模式):上为有 GPU,训练策略后 10 比 8 获胜;下为只有 CPU,手写步态,3 比 13 提前落败
那仿真之外的情况如何?标准模式只向智能体提供传感器读数和控制接口,而同样的接口也能接到真实机器人上。团队安排GPT-6 Astra和Claude Opus 5.5用离散命令(上下左右平移、左右旋转)操作一台真实机械臂,玩穿环过线游戏:机械臂夹住金属环,沿一根弯曲金属丝从一端移动到另一端;一旦环碰到金属丝,灯就亮、蜂鸣器响,这一轮即告失败。
图 12|真实机械臂上的穿环过线。左:上排 GPT-6 Astra,下排 Claude Opus 5.5;右:两个智能体各 8 次尝试的完成进度
每个智能体连续玩8次。前4次的平均进度,GPT-6 Astra约为65%,Claude Opus 5.5约为35%;后4次分别升到约94%和63%。GPT-6 Astra每一次都高于Claude Opus 5.5,并在第7、8次走完了全程。这项演示只有一个任务、每个智能体一组尝试,没有评分程序,不计入考试成绩。
另外,每项测试只跑了一遍;大部分阶段标签出自GPT-6.1 Sol之手,它自己也是受测对象,还给自己打了标签,并且与GPT-6 Astra同属一个系列。除真机演示外,其余结果均来自仿真;那些改编自公开基准的任务,有一部分分数或许来自模型记住的公开解法。接下来团队打算对核心测试做多次重复运行并给出置信区间,加入实时任务,再通过标准模式的接口,在真实机器人上做系统评测。
只要状态能完整读取、重置次数不受限,最强的编程智能体就能拿下八成难题;可一旦换到真实机器人的条件,解出的比例就掉到不足一半。GPT-6 Astra的对照实验显示,补上重置比补上精确状态更能把差距拉小——偏偏真实机器人很难做到随时重置。
参考资料:
https://arxiv.org/abs/2611.12177