李曼玲团队发布EFE：用1156项任务考coding agent控制机器人
让机器人掌握一项新技能，通常有两条路径：人类为它编写程序，或者让它从数据中学习。如今，让由 LLM 驱动的 coding agent 直接控制机器人，成为了第三种可能。然而，coding agent 能否在物理世界的约束下可靠地控制多种机器人？现有基准尚未回答这个问题。 为此，华人科学家李曼玲、Ruohan Zhang
想让机器人学会一门新手艺，一般就两条路：人给它写程序，或者让它自己从数据里学。现在多了第三种可能——让 LLM 驱动的 coding agent 直接去操控机器人。问题是，在物理世界的种种约束下，coding agent 能不能稳稳当当地控制多种机器人？现有的基准都还没给出答案。华人科学家李曼玲、Ruohan Zhang、石冠亚联合团队及其合作者（包括李飞飞、Dawn Song、Pieter Abbeel 等）为此提出了“具身的第一场考试”（Embodied First Exam，EFE）。这是一个统一、全面、agent 原生的评测框架，想弄清楚三件事：通用 coding agent 能解决哪些机器人任务、物理世界的约束会怎样影响它的表现、失败又发生在哪一步。
论文链接：https://arxiv.org/abs/2611.12177
论文介绍，EFE 涵盖 35 个任务套件、共 1156 项任务，涉及 47 款机器人。其中 26 个套件由已有机器人基准改编而来，另外 9 个是新增套件，把评测范围从抓取和放置推到了空间谜题、灵巧操作、多机器人交互、动态全身控制，以及不同仿真环境之间的工程任务。
面对这些任务，agent 可以自己挑控制方式：直接输出动作、写控制程序，或者先训练策略再控制机器人。EFE 用一套统一的基础设施来支持不同模型与 harness 的组合，每次尝试的结果交给 agent 无法控制的验证器来判定。除了控制方式，EFE 还改动了 agent 观察环境和试错的条件。每项任务最多有 3 种评测设置，同一任务在不同设置下共用初始场景和成功判定规则。
标准（Standard）设置下，agent 只能通过机器人传感器看环境，默认不能重置，不过仿真会在 agent 推理时暂停。实时（Realtime）设置保留了标准设置的约束，区别在于环境在 agent 推理期间照常运行。特权（Privileged）设置则把完整仿真状态和无限重置都开放出来，让 agent 能反复试错、搜索解法。团队把这一设置下的成功率看作近似上界，也把它当作生成训练数据的一条途径。
他们在 456 项高难度核心任务上评测了 8 个 coding agent。表现最好的是在 Codex 中运行的 GPT-6 Astra，标准设置下总体成功率 33.6%。团队又挑出同时具备标准和特权设置的 391 项任务做进一步比较：能访问完整仿真状态、无限重置环境时，GPT-6 Astra 的成功率达到 77.5%；只能靠机器人传感器观察、默认无法重置时，成功率降到约 30%。
围绕这个最强 agent 的控制实验，进一步拆开了状态信息和重置机会各自的作用。结果发现，增加无限重置比增加精确物体状态更能拉近两种设置之间的差距；两者同时给到，与特权设置之间的大部分差距就能补上。在需要精确操作的阶段，重置管用，只给精确状态则不管用。
环境如果在推理期间一直跑着，任务难度还会往上走。同一组 54 项任务里，标准设置下有 50% 的测试没有任何 agent 能解决；换成实时设置，这个比例涨到 63%。
失败究竟卡在哪儿？团队按完成任务所需的世界状态变化把任务切成若干阶段。以把番茄放进关闭的冰箱为例，得先开门、再放番茄、最后关门。他们另找了一个独立的 coding agent，为 8 个受测 agent 在 427 项任务中的失败尝试逐一标出失败阶段。
结果看下来，同一个任务里的失败大多挤在相同阶段，而且常常就是第一阶段；特权设置和标准设置下的失败位置也基本对得上。需要改变材料、或者要挪动机器人身体的阶段，失败率最高。agent 能力越弱，就越容易在还没接触到目标之前就栽了。
图｜上图为失败阶段的集中程度（按测试取平均）；下图为两种设置下最常见失败阶段相同的任务占比，两种设置中该阶段都是第一阶段的任务已排除在外。
各个 agent 的本事也不完全重叠。标准设置下，最强的 3 个 agent 解出的测试有不小出入。harness 同样左右结果：换一个 harness，成功率最多能差 12 个百分点。
agent 挑的控制方式也会随条件变。标准设置里，它们基本直接操纵机器人；到了特权和实时设置，多数转为写控制程序。有个足球任务，在标准和实时设置中，系统一旦提供 GPU 和训练库，agent 就会去训练策略，而最后赢的也只有训练过的策略。
研究当然有局限。团队自己讲得很清楚：每个 agent 对每项测试只跑一次，阶段标签和控制方式标签都由 agent 生成，主要评测结果也全部出自仿真。只跑一次，没法分清哪种是反复出现的失败、哪种是偶发失手。仿真之外，真实机器人上表现如何，还得再测。
下一步，他们打算对每项核心测试多跑几次，把稳定复现的失败和单次运行的失误分开，并给不同 agent、不同设置之间的比较配上置信区间。实时设置里无人能解的测试占比最高，所以他们也会补充更多实时任务。
真实机器人评测同样在计划里。标准设置本就把 agent 的输入和操作框在机器人传感器读数和控制接口之内，只要任务结果能打分，这套接口就能直接搬到真实硬件上。他们已经演示过两个 agent 用真实机械臂玩电流迷宫游戏，接下来准备借这个接口，系统评估 agent 在真实机器人上的表现。
