Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板

资讯 AI 行业观察 全文 5428 字 · 约 14 分钟读完 配图 15 张 分类AI 编程智能体

Fable5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

所属频道 智能体与 AgentAI 编程与开发

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 1)

新智元报道  

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 2)


数字世界里,编程智能体已能搞定复杂任务;接上编程接口,它们还能指挥真实世界里的机器人干活。

可机器人任务跟软件任务压根不是一回事:智能体只能靠传感器摸清环境,动作一旦执行往往收不回来,环境也不会停下来等它想清楚。

基础问题随之而来:通用编程智能体究竟能拿下哪些机器人任务?在什么样的物理约束下还能完成?又会在哪一步栽跟头?

西北大学、卡内基梅隆大学等8所高校的研究者为此拿出了Embodied First Exam(EFE,具身第一考)。这是一个统一评测框架,把各类编程智能体接进仿真机器人里考察。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 3)

图1|EFE 总览:任务规模、运行命令与三种模式

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 4)

论文链接:https://arxiv.org/abs/2611.12177

网站与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai

代码:https://github.com/mll-lab-nu/embodied-first-exam

视频与轨迹数据:https://huggingface.co/datasets/MLL-Lab/embodied-exam-data

这项工作共有四项贡献:

  • 第一是一套统一考卷,规模大、种类多、难度高。1156个任务、47种机器人,覆盖面远不止桌面上的抓取放置;即便是最强的编程智能体,在456项标准模式核心测试里也只解出一半。

  • 第二是三种评测模式,用来量出离真机还有多远。同一批391个核心任务上,最强者在特权模式(可读取完整仿真状态、重置次数不限)下解出80%,到了标准模式(只靠传感器、默认不能重置)就只剩47%。

  • 第三是统一的基础设施。一条命令就能开考,换模型、换智能体框架只改两个参数;机器人怎么控制由智能体自己定:直接下指令、写控制程序,或者训练策略都行。

  • 第四是系统分析,不只给分数,还找原因。针对GPT-6 Astra的对照实验里,补上重置比补上精确状态更管用,看得准不等于做得准;逐阶段标注10个智能体的6027次失败后发现,不同智能体常常败在同一步;足球任务中,只要有GPU和训练库,智能体多半会自己去训练策略。


Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 5)
统一考卷


EFE的体量摆在这儿:1156个任务、2288项测试,覆盖35个任务集、23个仿真器、47种机器人。所谓一项测试,就是一个任务在一种模式下考一次。机器人按形态分成8类——单臂、双臂、灵巧手、人形、移动机器人、四足、飞行器,还有肌肉骨骼模型。

多样性上,团队没有只啃现成基准。26个任务集改编自已有基准,另外9个任务集、411个任务是新建的,考的东西超出桌面抓取放置:解绳结、组装宜家家具、用灵巧手翻书、用画笔临摹画作;接住抛来的球,打完一整场乒乓球或击剑比赛;只凭一张完成后的目标画面完成任务;识别并拒绝危险请求;把控制器部署到动力学未知的仿真器上。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 6)

标准模式下有个例子:GPT-6 Astra只靠传感器读数控制人形机器人打乒乓球,整场比赛以5比2拿下。

易用性方面,所有任务用同一种格式打包,各家智能体框架(harness)不用改动就能接入。开考一条命令就够:

harbor run -d embodied-first-exam -a codex -m openai/gpt-6-astra

想换智能体框架或模型,改-a和-m两个参数就行。比如换成Claude Code里的Claude Opus 5.5:

harbor run -d embodied-first-exam -a claude-code -m anthropic/claude-opus-5-5

每次尝试的日志都挂在网站上公开,大多能逐步回放。

难度是筛过的。团队挑出456个高难度任务作为核心集,简单任务和初筛模型已经解出的任务都排除在外,评测10个智能体,每项测试运行一次。456项标准模式核心测试上,最强的Claude Fable 5.2(Claude Code)解出50%,GPT-6 Astra(Codex)34%,GPT-6.1 Sol(Codex)32%,Claude Opus 5.5和Gemini 4 Argon分别是25%和24%,Kimi 3.1 Pro为10%,剩下四个都不到7%。

实时模式更难。54个任务同时考标准和实时两种模式,实时模式下近一半(46%)的测试没人解出,标准模式下这个比例是35%。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 7)

图3|10个智能体在核心集上的成功率,括号内为解出数


Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 8)
闭卷时,没有通吃的赢家


最强的也只解出一半,剩下的题谁来解?

图中每一次尝试都有对应标记:一行代表一个智能体,一列代表一项测试;从灰到黑的格子表示解出,颜色越深花费越高,底色最浅的格子表示失败。上半部分对应标准模式,下半部分对应特权模式。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 9)

图4|核心集上的每一次尝试:上为标准模式,下为特权模式;行是智能体,列是测试

标准模式的456项测试里,169项没有任何智能体解出。剩下的题也没谁能全包:另外四个强智能体加起来,解出了60项Claude Fable 5.2没解出的测试。

拿GPT-6 Astra来说,它解出的157项中有39项Claude Fable 5.2没解出,其中一半以上来自安全判断(Embodied Safety Exam)、家务(BEHAVIOR-1K)和绘画(RoboPaint)三个任务集;

Claude Opus 5.5解出的114项里,46项GPT-6 Astra没解出,其中不少是搬运物体的任务。题目够多样,就算最强的智能体,也有别人能解而它解不了的题。

特权模式下,各智能体解出的题大多重合:391项测试中只有43项无人解出,Claude Fable 5.2一家就包了所有已解测试的89%。每项测试只跑一次,上面的差别有一部分可能来自运行之间的波动:GPT-6.1 Sol一次运行解出的标准模式测试,再跑一次只能解出其中的56%至70%。

同一批智能体,开卷时解出的题大多重合,闭卷时各有短板。条件收紧之后,到底发生了什么?


Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 10)
三种评测模式
同一批任务,80%降到47%


同一项任务,共有三种考法,条件从宽到严依次收紧:

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 11)
  • 先说特权模式(Privileged):仿真状态全部可读,重置次数不设限,能一遍遍试错,性质上接近开卷考试,其成功率大致可视为上限。

  • 标准模式(Standard)只给传感器观测,默认不允许重置,相当于闭卷考试,对应的是真实机器人所处的条件。

  • 实时模式(Realtime)则在标准模式之上再加一条:智能体思考期间,环境照常运转。

无论哪种模式,评分程序都放在智能体碰不到的地方运行。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 12)

图 6|391 个同时具备两种模式的核心任务:各智能体在哪种模式下解出

这391个任务里,Claude Fable 5.2在特权模式下解出311个(80%),到标准模式只剩47%。而那311个中,有136个一换到标准模式就失败。

换到标准模式后,最容易出问题的是需要精确对准的步骤。以Claude Opus 5.5给风扇装前罩为例:特权模式下它把前罩对正装了上去,偏差0度;

到了标准模式,它把前罩举在偏离风扇轴线36至39度的位置,可安装只容许5度偏差,再往里推,整个风扇都被推动了。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 13)

图7|给风扇装前罩(DexHandExam,Claude Opus 5.5):上为特权模式,下为标准模式,红色标出出错处


Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 14)
系统分析
差距从哪来,败在哪一步


成绩只能说明做没做到。EFE还把原因逐项拆开分析:差距来自哪里,失败卡在哪一步,智能体会不会换一种做法。

Fable5.2机器人任务开卷80%闭卷47%:EFE评测揭编程智能体短板(配图 15)

差距从哪来:看得准,不等于做得准


标准模式相比特权模式缺了两样:所有物体的精确状态,以及不限次重置。哪一样更关键?团队拿GPT-6 Astra做对照实验,每种条件各跑一次。它在这391个任务上的落差比Claude Fable 5.2还大:特权模式79%,不补任何能力时只有29%(341个任务按标准模式、50个按实时模式考,与第一节的34%并非同一个分母)。

团队在标准模式接口上,为它逐项补回特权模式的能力:补上精确状态,升到45%;补上不限次重置,升到53%;两样都补,达到68%,已接近特权模式的79%。

图 8|左图是 GPT-6 Astra 在逐项补回特权能力之后的成功率;中图对比精细、粗略等各类阶段在特权模式与标准模式下的失败率;右图统计的是 GPT-6 Astra 基线运行中失败的测试,按失败阶段归为精细(黑)与粗略(灰)两类,并给出各条件下解出的比例;第一行作为对照,不补任何能力,只是重考一次

补上精确状态,等于让它看得准;补上重置,等于让它能反复试。后者更管用:有重置之后,三分之二(66%)的成功来自从中途存档处重新开始的回合,智能体只重试难的那一段,不用从头再来。

按失败阶段分开看(图8右),差别更明显:败在抓取、放置这类粗略阶段的测试,补上精确状态就能多解出不少;败在组装、对准位姿这类精细阶段的,补精确状态几乎没有帮助,补上重置才明显管用。看得准,不等于做得准。

不同智能体往往栽在同一步。EFE把427个核心任务拆成阶段,每个阶段对应任务要求的一项环境变化,比如「番茄放进冰箱」。团队用编程智能体标注了10个智能体的6027次失败尝试,定位每次失败发生在哪个阶段。


图 9|左:失败阶段的集中程度;右:各类阶段一旦到达后的失败率

有两点发现最值得看:

  • 失败常常扎堆:换智能体、换模式,败的地方往往是同一个阶段。只看五个强智能体,标准模式下同一项测试里不同智能体的两次失败,平均55%落在同一阶段;若失败阶段随机分布,这个数字只有30%。这个阶段常常就是任务的第一个阶段;但排除两种模式都败在第一阶段的任务后,仍有59%的任务在两种模式下最常见的失败阶段相同,随机分布时只有9%。

  • 最难的是改变物体本身、让机器人自己移动的阶段。擦拭等材料类阶段一旦到达,失败率56%;行走等身体类阶段39%;开门等机构类阶段17%。这些类别多集中在特定任务集和机器人上,所以这组数字还不能说明类别本身导致了失败。

换个思路:足球任务里,给了GPU,智能体多会自己训练策略


做不准的时候,智能体会不会换做法?EFE不规定控制方式。智能体可以直接控制——发一小段动作,看一眼画面,再决定下一步;也可以编写控制程序,或者训练策略;还能混着用。

平时智能体很少训练策略,但条件具备时,它们会主动训练。

足球任务分为两个版本,场景和对手都一样,智能体在两种情况下都要逐个关节地操控两台人形机器人。差别在于,GPU版会额外给出GPU、强化学习库,以及一个可在GPU上跑的训练用比赛环境,说明文档里还附了一段训练示例;CPU版则一律不提供这些。

在标准和实时两种模式下,GPU版共尝试28次,其中25次用强化学习训练了策略,赢的8场全部由训练得到的策略拿下;CPU版同样尝试28次,训练策略的只有1次,智能体大多靠手写步态应对,最终只赢下1场,且是平局后点球大战取胜。

拿标准模式下的GPT-6 Astra来说:给它GPU,它就能训练行走和控球策略,以10比8取胜;只给CPU,它只能手写步态,机器人摔倒59次,以3比13提前告负。上述次数中包含了智能体框架对比实验的运行,因此有的模型不止出现一次;两个版本还在多处同时存在差异,单看这一项任务,还无法判断究竟是哪一处差别起了作用。

图 11|足球任务中的 GPT-6 Astra(标准模式):上为有 GPU,训练策略后 10 比 8 获胜;下为只有 CPU,手写步态,3 比 13 提前落败


从仿真到真机:穿环过线


那仿真之外的情况如何?标准模式只向智能体提供传感器读数和控制接口,而同样的接口也能接到真实机器人上。团队安排GPT-6 Astra和Claude Opus 5.5用离散命令(上下左右平移、左右旋转)操作一台真实机械臂,玩穿环过线游戏:机械臂夹住金属环,沿一根弯曲金属丝从一端移动到另一端;一旦环碰到金属丝,灯就亮、蜂鸣器响,这一轮即告失败。

图 12|真实机械臂上的穿环过线。左:上排 GPT-6 Astra,下排 Claude Opus 5.5;右:两个智能体各 8 次尝试的完成进度

每个智能体连续玩8次。前4次的平均进度,GPT-6 Astra约为65%,Claude Opus 5.5约为35%;后4次分别升到约94%和63%。GPT-6 Astra每一次都高于Claude Opus 5.5,并在第7、8次走完了全程。这项演示只有一个任务、每个智能体一组尝试,没有评分程序,不计入考试成绩。


短板也摆在明面上。


另外,每项测试只跑了一遍;大部分阶段标签出自GPT-6.1 Sol之手,它自己也是受测对象,还给自己打了标签,并且与GPT-6 Astra同属一个系列。除真机演示外,其余结果均来自仿真;那些改编自公开基准的任务,有一部分分数或许来自模型记住的公开解法。接下来团队打算对核心测试做多次重复运行并给出置信区间,加入实时任务,再通过标准模式的接口,在真实机器人上做系统评测。

只要状态能完整读取、重置次数不受限,最强的编程智能体就能拿下八成难题;可一旦换到真实机器人的条件,解出的比例就掉到不足一半。GPT-6 Astra的对照实验显示,补上重置比补上精确状态更能把差距拉小——偏偏真实机器人很难做到随时重置。

参考资料:

https://arxiv.org/abs/2611.12177

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

    新智元报道 编程智能体已经能在数字世界完成复杂任务。借助编程接口,它们也可以指挥物理世界中的机器人。但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。于是有一个基础问题:通用编程智能体能完成哪些机器人任务?在哪些物理约束下能完成?又会在...

    来源 腾讯网
  2. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  3. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  4. OpenAI自曝递归自我提升,智能体指数级爆发,人类已成瓶颈

    OpenAI毫无征兆地宣布:「递归自我提升」(RSI,Recursive Self-Improvement)的齿轮,已经正式开始转动。 通俗来说,OpenAI亲口作证:AI开始研发AI了! 长久以来,人们都在猜测超级人工智能(ASI)会在哪一天降临。大家盯着大模型的跑分,盯着参数量的飙升。 但OpenAI明确告诉你:通

    来源 AI 行业观察
  5. 银行警告AI智能体擅动账户:用户或需自担损失

    IT之家 11 月 19 日消息,如果你的 AI 智能体做出了一笔糟糕的财务决策,最终可能只能由你自己承担损失。 这是近期多家大型银行向客户发出的警告。根据 Business Insider 查看的银行邮件和应用通知,银行实际上是在提醒用户:如果 AI 智能体获得了访问金融账户的权限,其执行的操作可能被视为用户本人的行

    来源 AI 行业观察
  6. Uber建MCP Gateway:800个服务器、5000个工具如何统一调度

    作者 | Leela Kumili译者 | 田橙随着 AI 智能体在公司内部得到广泛采用,Uber 构建了一套 MCP Gateway,用于规范智能体发现和调用内部服务的方式,以解决集成碎片化、基础设施重复建设和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,为服务发现、协议转换、

    来源 腾讯网
  7. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  8. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  9. 因智能体入侵银行系统,美国亚利桑那州对 OpenAI 等人工智能企业展开刑事调查

    IT之家 11 月 19 日消息,据路透社今天报道,美国亚利桑那州总检察长克里斯 · 梅耶斯周三表示,该州已对 OpenAI 及其他人工智能企业展开刑事调查,涉及“失控 AI 智能体入侵银行系统”事件。 梅耶斯表示,她们正在调查 OpenAI 等企业的行为是否持续违反亚利桑那州法律。刑事调查并不意味着一定会提出指控,且

    来源 AI 行业观察
  10. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  11. Lovable换赛道:从生成应用到经营AI生意

    瑞典AI初创公司Lovable曾凭“氛围编程”掀起应用开发热潮,用户只需用自然语言描述想法,就能生成可运行的网页应用。推出两年后,这家欧洲增长最快的创业公司之一正悄然转向:从帮人做出产品,转向帮人经营生意。本文解析Lovable的战略转型,以及氛围编程从“玩具”走向“生产工具”背后的机遇与隐忧。

    来源 AI 科技快讯
  12. Snapchat Lens创作接入Claude Code:说句话就能生成AR镜头?

    Snapchat宣布,Lens创作者现在可以用Claude Code、Cursor等AI编程助手来开发AR镜头——只需用自然语言描述想要的效果,AI助手便从头到尾完成搭建。这既是AR创作门槛的又一次下探,也标志着AI编程代理正从IDE走向平台级创作工具。本文梳理其机制、行业背景与潜在隐忧。

    来源 AI 科技快讯
  13. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  14. Java 语言曝出安全漏洞,美国、韩国紧急呼吁用户安装安全更新

    IT之家 11 月 18 日消息,据路透社今天(18 日)晚间报道,Java 编程语言曝出安全漏洞,黑客可能利用漏洞远程执行恶意代码,甚至导致系统崩溃。为此,美国和韩国当局紧急呼吁 Java 用户安装安全更新。 Java 在韩国应用广泛,漏洞引发政府高度警惕。当地时间 17 日,韩国总统办公室紧急召集有关部门开会,商讨

    来源 AI 行业观察
  15. 2026 AI·营销大会11月25日落地上海:Agent营销如何走向规模化

    2026年,AI Agent在营销领域的应用正加速深入。从创意内容生成、消费者洞察,到Campaign执行、投放优化与增长复盘,Agent正逐步参与营销业务的更多环节。随着AI应用从单点任务向完整业务链条延伸,如何将Agent融入企业真实业务系统与工作流程,实现规模化部署与持续价值创造,正成为品牌企业关注的重要议题。

    来源 AI 行业观察
  16. 纳德拉:AI代购兴起,恐改写互联网平台盈利模式?

    科技媒体 TechCrunch 昨日(11 月 18 日)发布博文,报道称在《纽约时报》DealBook 峰会上,微软首席执行官萨蒂亚 · 纳德拉(Satya Nadella)表示,能够替用户浏览商品、完成购买的 AI 智能体,可能重塑互联网的商业格局,让依赖用户访问和广告收入的平台面临重新洗牌。

    来源 IT之家
  17. Office 主客易位:微软把 Word、Excel 塞进 Copilot,AI 当门面

    昨日的 Ignite 2026 大会上,微软官宣 Office 翻开“新篇章”:办公软件不再只是文档、表格与演示工具,而将转型成 AI 智能体协同干活的“智能办公系统”。此前 Copilot 是被塞进各应用当助手,如今整个颠倒:以新款 Copilot 应用为核心,集成完整的 Word、Excel 和

    来源 AI 开发者社区
向下滚动自动加载更多