编程智能体操控机器人怎么测评:EFE用1156个任务拆解失败步骤

资讯 腾讯网 作者:机器之心 全文 4150 字 · 约 11 分钟读完 分类AI 编程智能体

让编程智能体控制机器人,该怎么考?EFE 的答案是:只规定结果,不规定做法;同一道题最多分三种模式考;不只打分,还要找出失败的原因。考编程智能体,难在它没有固定的做法。训练好的机器人策略只做一件事:把画面和传感器读数变成动作。编程智能体却可以直接操控机器人、编写控制程序,或者先训练一个策略再上场。要公平地考这样的智能体

所属频道 智能体与 AgentAI 编程与开发

让编程智能体去操作机器人,测评该怎么设计?EFE给出的思路是:只把结果定死,路径交给智能体自己选;一道题最多拆成三种模式来考;分数之外,还要查清失败出在哪。

测评编程智能体,麻烦在于它没有套路可循。训练好的机器人策略功能很单一,就是把图像和传感器读数转成动作。编程智能体的路子则宽得多,可以直接操纵机器人、自己写控制程序,也可以先训一个策略再让它上场。

要想公平地比出高下,题目、条件和打分方式都得推倒重来。西北大学、卡内基梅隆大学等 8 所高校的研究者因此搭起了 Embodied First Exam(EFE,具身第一考),在同一套框架下考察各类编程智能体操控仿真机器人的本事。这项工作贡献了四条内容:三条设计原则,外加一份系统分析。

  1. 任务面要铺得开,不能只围着抓取和放置转。整套题库包含 1156 个任务、35 个任务集,覆盖 47 款机器人。

  2. 还要测出成功率随物理约束怎么变。每道任务最多设三种模式,分别调整智能体能获取的信息、能不能重置、环境会不会等它。

  3. 面向不同模型、智能体框架和控制方式,团队提供了统一的基础设施。跑起来只要一条命令,换模型或换框架改两个参数就行;智能体可以走直接控制、写程序、训策略三条路(图 1)。

  4. 评分不是终点,找到失败原因是另一项要求。团队用对照实验把各项条件的作用分开,再把任务切成阶段,看每次失败落在哪一步。

图 1|统一框架:兼容多种模型与智能体框架、控制方式和仿真器;评测分为特权、标准、实时三种模式

  • 论文标题:Embodied First Exam

  • 论文链接:https://arxiv.org/abs/2611.12177

  • 项目主页与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai

  • 代码:https://github.com/mll-lab-nu/embodied-first-exam

一、考什么:

不止抓取放置

从已有基准改编来的 745 个任务里,618 个用的是单臂、双臂或移动机械臂。其他机器人和能力方向的空白,由团队新建的 9 个任务集补上,这些任务集分成三组:

  • 第一组要求持续接触的精细操作(RoboARC、DexHandExam、RoboPaint),涉及可变形物体、多零件装配和工具使用。

  • 第二组面对运动中的物体和对手(RoboDynamicExam 和两个 Embodied Olympics 任务集),出手时机必须拿捏准确;考试里的人形机器人任务大多归在这里,比如下面视频中的扣球。

  • 第三组考的是超出「执行给定目标」范围的能力(iSpatialGym、Embodied Safety Exam、RoboEngineer):自己弄懂目标、判断请求安不安全、让控制器适应陌生的动力学。

视频链接:https://mp.weixin.qq.com/s/bU4E00ZyiUQRTHGT6zklyA

人形机器人扣球过网(Embodied Olympics - Fun):GPT-6 Astra,

团队从 1156 个任务中挑出 456 个高难度任务组成核心集,用它们评测了 10 个编程智能体。各任务集难度差距不小(以下只统计至少有 5 项测试的任务集):按五个强智能体(Claude Fable 5.2、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon)的平均成功率来算,

图 2|各任务集的成功率:圆点代表五个强智能体各自的成功率,条形代表它们都没解出的测试占比,黑色表示至少一半

从 10 个智能体全部解出,到没有一个能解出,中间每一档都有测试分布:难度是连续的,这套考卷能把智能体拉开档次:较弱的智能体也基本解不出强者解不出的题:五个较弱智能体在

核心集剔除了团队判定为简单的任务,也剔除了初筛模型 GPT-6 Luna 已经解出的任务。GPT-6 Luna 与 GPT-6 Astra、GPT-6.1 Sol 属于同一系列,这样的筛选方式可能让该系列吃亏。按

题目定下来了,接下来要在什么条件下考?

二、在什么条件下考:

同一道题,条件逐级收紧

同样的任务换到不同模式,开端场景、判定成功的口径和限时都不变,变的只是下面这几项条件。

把同一任务在各模式下的成绩摆到一起,收紧条件带来的影响就显出来了。连续头球十次就是例子(图 5):

图 5|连续头球十次(Embodied Olympics - Fun):图中每个智能体占两行,S 指标准模式,P 指

按第四节的方法把任务切成阶段,再逐段对比特权模式与标准模式的失败率(即到达该阶段的尝试里失败所占比例),精细阶段受到的影响明显大于粗略阶段。在至少两个任务集中都露过面的阶段类型里,组装、对准位姿、接触移动物体这类精细动作,切到标准模式后失败率涨了 19 至 51 个百分点;放置、抓取这类粗略动作,9 类里有 7 类只涨 3 至 18 个百分点(图 6 中)。组装从 25% 升到 76%,放置从 18% 升到 31%。只有分开考,才能看清收紧条件究竟卡在哪一类动作上。

图 6|左图:GPT-6 Astra 在第四节所述逐项恢复特权能力之后取得的成功率;中图:特权与标准两种模式下,各阶段类型的失败率对比;右图:GPT-6 Astra 基线运行里未通过的测试,按失败阶段归为精细(黑)与粗略(灰)两类,并给出各条件下的解出比例

条件已经定好,接下来该选什么平台来考?

三、用什么考:

只限定结果,不限定做法

EFE 只管三件事:起点在哪、给多少资源、成功怎么判。

  • 统一打包。每个任务按

  • 独立评分。评分程序跑在智能体容器之外,智能体改不动评分结果。

  • 抹掉已知答案。改编后的任务保留原基准的场景、机器人和成功标准(部分任务集的成功标准更严),原基准的专家策略和演示数据则被删掉。

  • 资源设上限。每个任务都卡时间、token、CPU、内存和磁盘,要 GPU 的任务还卡显存。时限中位数为 1 小时,区间是 30 分钟到 4 小时。

在这个框架里,怎么控制由智能体自己定,不同模式下的选择差得很远。两次随机抽样合计 1760 次尝试(不含Claude Fable 5.2和Kimi 3.1 Pro),标准模式下 63%走直接控制,每发一段动作就看一次图像和传感器;特权模式下 79%靠写程序算动作;

框架能换,框架本身的影响也就能量出来。差距最明显的是 GPT-6 Astra:在 Codex 中解出 34%的标准模式核心测试,换到 Claude Code 只剩 27%;Claude Opus 5.5 在两个框架里成绩差不多。因此 EFE 的榜单按「模型+智能体框架」列成绩。

考完只拿到成败结果。想改进智能体,还得弄清它为什么失败。

四、系统分析:

不只打分,还要找出原因

EFE 找原因靠两条路:一是用对照实验把不同条件的影响拆开,二是把任务切成阶段,给每次失败定位。

对照实验:逐项补回能力

特权模式比标准模式多出的能力里,有两项是所有物体的精确状态和不限次重置。这两项各占多大分量?团队在标准模式的接口上给 GPT-6 Astra 逐项补回,每种条件跑一次(图 6 左)。

补回能力后再跑一遍,本身也是一次重考,有些失败再试一次就过了。为了排除这种可能,团队另设一组对照:什么能力都不补,只是不再告知智能体成功与否,大致等于再考一次。

在基线运行中败于精细阶段的 91 项测试上(图 6 右):对照组解出 19%;补上精确状态解出 21%,跟对照差不多;补上不限次重置解出 36%,且几乎都是在重置或恢复存档之后成功的。对精细阶段来说,看得准还不够,得能反复试。

失败定位:把任务拆成阶段

评分程序只看一次尝试成没成,并不告诉你错在哪儿。为此,EFE 给 427 个核心任务分别配了一张

一次失败的尝试,最多只标一个失败阶段。要是中途出了摔倒这类没法挽回的事,就记这件事发生的那个阶段;不然就记智能体最早犯下、后来也没纠正的错误所在阶段。拿图8的搬运杂货任务来说,Claude Opus 5.5 搬牛奶时摔倒,失败阶段落在第4阶段,失败现象是失去平衡。

把同一个任务上各个智能体的失败阶段摆到一起,谁停在哪一步就一目了然。穿绳是个例子(图9):绳子得按孔、环、孔、环、孔的顺序穿过5处。标准模式下,只有 Claude Opus 5.5 做完了;Claude Fable 5.2、GPT-6 Astra 和 Gemini 4 Argon 都卡在第二个环,五个较弱的智能体里有四个连第一个孔都没穿过去。

任务图

图 9|穿绳(RoboARC,标准模式):绳子要依次穿过孔、环、孔、环、孔,共 5 个阶段;各智能体到达的阶段与失败阶段,以及失败时的画面

阶段划出来,难点卡在哪一步也就清楚了。团队统计了 192 项标准模式测试,入选条件是至少三个阶段、且至少有四次失败能定位到阶段。结果有 51 项、大约四分之一,八成以上的失败都集中在同一个阶段,连续接球两次就是其中一例(图10)。

图 10|连续接球两次(RoboDynamicExam):各智能体到达的阶段与失败阶段,以及标准模式下三次失败的回放画面

局限

这个任务里,机器人先用杯子接住抛来的球,倒进滑槽,等球顺坡道滚下、反弹后再接一次,末了倒进移动的小车。标准模式下十个智能体全都没成。Claude Fable 5.2 走得最远,两次都接住了,最后往移动的小车倒球时,球落在了车旁。其余九个里有八个接住了第一个球,却都栽在第二次接球上,原因还不一样:有的在倒球或挪空杯时碰了滑槽、坡道;有的在调整杯子迎反弹球时,机械臂撞上了场景;有的球始终没倒出杯子;有的杯子还没放低,球就到了。Claude Opus 5.5 在自己的报告里算过:球离开杯子后,大约只有 1.3 至 1.6 秒可以接,而倒完球再把杯子摆正,就要花约 1.4 秒。

这套考法也有短板。每项测试只跑一次,在只有五六项测试的任务集里,一项测试的成败就能让成功率上下浮动 17 至 20 个百分点。标注工作大部分由 GPT-6.1 Sol 完成,可它本身也是受测智能体,标了自己的尝试,还和 GPT-6 Astra 同属一个系列。GPT-6.1 Sol 的三次运行还显示,同一个智能体再考一遍,能解出的测试会有很大出入。团队打算把核心测试重复跑,给出置信区间。作者名单见论文。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. HSPR:只跑10%测试题,怎么估准AI程序员的真实水平

    你有没有想过一个问题:考试只做十道题,老师怎么知道你整张卷子能考多少分?这听起来像个荒谬的要求,但在AI агент(智能体)评测这个领域,这恰恰是研究者们天天在面对的现实难题。想评价一个AI编程助手到底有多强,标准做法是让它去解决成百上千个真实的软件工程任务,比如修复GitHub上的真实bug。这就是SWE-benc

    来源 腾讯网
  2. AI代码智能体新方法:工具与模型同步进化,解决率从61%升到69.5%

    你有没有想过一件事:一个厨师做菜难吃,到底是因为他手艺不行,还是因为他用的锅不行?这个问题听起来有点蠢,但放到AI编程智能体身上,就是一个真实存在了很久、却一直没被认真解决的问题。一个能自动帮你改代码、修bug的AI智能体,表现好不好,取决于两件事。第一是它的大脑,也就是背后那个大语言模型本身有多强。第二...

    来源 腾讯网
  3. Kimi转向AI for Science:编程之后,下一个落点是科学研究

    一些迹象显示,Kimi 要往 AI for Science 方向发力了。近日,月之暗面(Moonshot AI)国际业务负责人贾科莫·菲卡里(Giacomo Ficari)在葡萄牙里斯本举行的网络峰会上,谈到了该公司在编程之外看好的下一个方向:科学研究。他提到,过去几年,编程是推动市场需求增长的重要场景,而生物学、化学

    来源 腾讯网
  4. Signal默认屏蔽截图:iOS与安卓防AI读取消息

    IT之家 11 月 22 日消息,开源端到端加密聊天应用 Signal 近日推出 iOS / Android 版更新,默认关闭应用程序内截图功能,以阻止 Siri AI 和 Gemini 等 AI 智能体读取用户私人消息。 Signal 总裁 Meredith Whittaker 表示,系统级 AI 智能体的影响力正不

    来源 AI 行业观察
  5. 多智能体系统:为何要专门训练一个“做噩梦”的AI旁观者?

    你有没有想过,为什么公司里经验最老道的质检员,往往不是看了最多"正常产品"的那个人,而是见过最多"奇葩次品"的那个人?这个问题,其实和今天要聊的这篇论文高度相关。想象一下,你现在负责管理一群AI智能体,它们正在帮你写代码、做数学题、浏览网页完成各种任务。这些智能体不是一个人在战斗,而是像一个项目组一样互相...

    来源 腾讯网
  6. AI智能体省钱新招:弱模型先上,LEASH用隐藏状态判断何时换强模型

    你有没有想过,为什么现在很多AI产品用起来总觉得差点意思,或者贵得离谱?答案可能藏在一个很少有人注意的地方:模型选择。现在能自动操作电脑的AI助手,专业说法叫计算机使用智能体**计算机使用智能体**:能看懂屏幕截图、理解自然语言指令,并自动执行点击、输入等操作来完成任务的AI系统这类系统面临一个两难选择。用最...

    来源 腾讯网
  7. 微软To Do明年6月30日停服,承诺协助用户平稳迁移

    IT之家 11 月 21 日消息,科技媒体 NeoWin 今天(11 月 21 日)刊发来自微软 AI 和智能体产品总监霍华德 · 克劳(Howard Crow),回应旗下任务管理应用 Microsoft To Do 停运事件。IT之家曾于 11 月 19 日报道,微软官网发布公告,Microsoft To Do 将于

    来源 腾讯网
  8. 智能体AI架构落地:挑战在哪,机会又在哪

    智能体 AI 架构在微服务与云原生架构的基础上进行了扩展,引入具备上下文感知、记忆能力,并遵循 MCP、A2A 等协议的 AI 智能体。本文探讨受限上下文集成、依赖任务的协同策略、新型安全风险以及可观测性需求。

    来源 InfoQ
  9. 智能体AI架构:挑战与机遇并存,工程师如何应对

    大多数软件工程师和架构师对微服务和云原生架构早已耳熟能详,多年来也一直参与构建基于这些架构的系统。基于微服务的系统通常由数十、数百甚至数千个服务组成,负责不同类型的数据处理任务——API 端点、数据管道、后台工作流,以及各类中间场景——但它们都有一个共同点:按照代码确定的逻辑或基于从数据存储中检索到的数据来处理数据。这

    来源 AI 行业观察
  10. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  11. METR时间视野图更新:编程任务表现突出,判断力任务仍偏弱

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 科技快讯
  12. MAI-Gym:给手机和电脑装一个会自己练习的AI管家

    你有没有想过一件事:为什么让AI下棋、做数学题、写代码都已经能靠自学进步了,但让AI帮你订张火车票、整理一份文件,却还是经常手忙脚乱?这背后有个挺反直觉的事实。2025年前后,强化学习已经在数学、编程这些领域跑通了一套成熟打法:给模型出题,让它反复尝试,答对了给奖励,答错了不给,模型就这样一点点学会推理。这...

    来源 腾讯网
  13. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  14. Signal默认禁止截屏:AI智能体入局,端到端加密还稳吗

    财联社11月20日讯(编辑 李莹)随着科技巨头将AI智能体深度嵌入操作系统,屏幕上显示的私密信息正面临被读取的风险。以隐私保护见长的通讯应用已不得不默认限制截屏,并公开警告端到端加密难以阻止AI从系统层面读取数据。据媒体当地时间11月20日报道,加密通讯服务商Signal宣布将默认限制手机截屏,以防AI智能体读取用户的

    来源 腾讯网
  15. 具身之外,物理AI终局的另一半:牛津费豪59页长文提出「认知共生体」新范式

    过去十年,AI 的进步只被一把尺子衡量:机器自己能做成多少事。 按这把尺子量,成绩单相当亮眼。今天的 Agent 能写代码、审代码、起草文档,在电脑上连续工作好几个小时;Meta、xAI、OpenAI 相继推出常驻后台的个人智能体,替人盯着长期目标;具身智能则是另一个风口,机器人正在拥有自己的身体、感知和目标。Pers

    来源 AI 行业观察
  16. Gemini 4 Neon发布:接入Antigravity编程解题率升至3倍多

    Carbon 向开发者开放才八天,Google 又发布了一款 Gemini 4 模型。 11 月 18 日亮相的 Gemini 4 Neon,在默认推理档追平了自家的旗舰 Carbon,开到最高档后比 high 档的 Carbon 高出 1 分,进入 Artificial Analysis 智能指数总榜前三。对于这款新

    来源 AI 行业观察
  17. 持续学习这道AGI前的大坎,AI也已经踏过了

    从 2025 年年中开始,持续学习就被视为通向通用人工智能(AGI)之路上最难越过的一座山。 强化学习之父 Richard Sutton 在 2025 年 9 月的对谈中就提出过,真实世界太过庞大且时刻都在变化,智能体必须在与环境的直接交互中边走边学。而单靠静态预训练的方法走不出真正的通用智能,最终只会陷入模仿人类既有

    来源 AI 行业观察
  18. AI做PPT、搭网页居然都免费?用完豆包工作我算了下账

    就拿小雷自己来说,自从把整理资料、分析财报、制作PPT等工作交给Agent软件(WorkBuddy、豆包工作等)后,也发现随着使用次数和任务复杂度的增加,AI消耗的积分也确实不少,很多时候赠送积分已经完全不够用,需要额外开会员和充值才行。

    来源 凤凰科技
向下滚动自动加载更多