Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

资讯 腾讯网 作者:新智元 全文 4708 字 · 约 12 分钟读完 配图 1 张 分类FableAI 编程智能体

新智元报道 编程智能体已经能在数字世界完成复杂任务。借助编程接口,它们也可以指挥物理世界中的机器人。但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。于是有一个基础问题:通用编程智能体能完成哪些机器人任务?在哪些物理约束下能完成?又会在...

所属频道 智能体与 AgentAI 编程与开发

新智元报道  


编程智能体已经能在数字世界完成复杂任务。

借助编程接口,它们也可以指挥物理世界中的机器人。

但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。

于是有一个基础问题:

通用编程智能体能完成哪些机器人任务?在哪些物理约束下能完成?又会在哪里失败?

为回答这个问题,西北大学、卡内基梅隆大学等8所高校的研究者提出了Embodied First Exam(EFE,具身第一考):一个把各种编程智能体接入仿真机器人的统一评测框架。

图1|EFE 总览:任务规模、运行命令与三种模式

论文链接:https://arxiv.org/abs/2611.12177

网站与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai

代码:https://github.com/mll-lab-nu/embodied-first-exam

视频与轨迹数据:https://huggingface.co/datasets/MLL-Lab/embodied-exam-data

这项工作有四项贡献:

  • 一套统一考卷:规模大、种类多、难度高。 1156个任务、47种机器人,远不止桌面抓取放置;最强的编程智能体在456项

  • 三种评测模式,量出离真机还有多远。 在同一批391个核心任务上,最强者在

  • 统一的基础设施。 一条命令即可开考,换模型、换智能体框架只需改两个参数;怎么控制机器人由智能体自己决定:直接下指令、编写控制程序,或者训练策略。

  • 系统分析:不只给分数,还找原因。 对GPT-6 Astra的对照实验中,补上重置比补上精确状态更管用:看得准,不等于做得准;逐阶段标注10个智能体的6027次失败,不同智能体常常败在同一步;足球任务中,有GPU和训练库时,智能体多会自己训练策略。


统一考卷


规模。EFE包含1156个任务、2288项测试(一个任务在一种模式下考一次,算一项测试),覆盖35个任务集、23个仿真器和47种机器人。机器人分为8类:单臂、双臂、

多样性。除了改编自已有基准的26个任务集,团队新建了9个任务集、411个任务,覆盖桌面抓取放置之外的能力:解绳结、组装宜家家具、用

图 2|9 个新建任务集与 26 个改编任务集

例如,在

易用性。 所有任务用同一种格式打包,各家智能体框架(

harbor run -d embodied-first-exam -a codex -m openai/gpt-6-astra

换智能体框架或模型,只需改-a和-m两个参数,例如换成Claude Code中的Claude Opus 5.5:

harbor run -d embodied-first-exam -a claude-code -m anthropic/claude-opus-5-5

每次尝试的日志都在网站公开,大多可以逐步回放。

难度。 团队选出456个高难度任务作为核心集,排除了简单任务和初筛模型已解出的任务,评测10个智能体,每项测试运行一次。在456项50%,GPT-6 Astra(Codex)为34%,GPT-6.1 Sol(Codex)为32%,Claude Opus 5.5和Gemini 4 Argon分别为25%和24%,Kimi 3.1 Pro为10%,其余四个都不到7%。

实时模式实时模式,

图3|10个智能体在核心集上的成功率,括号内为解出数


闭卷时,没有通吃的赢家


最强的也只解出一半,剩下的题谁能解?

下图把每一次尝试都画了出来:每行是一个智能体,每列是一项测试;灰到黑的格为解出(越深花费越高),最浅的底色为失败。上半部分是

图4|核心集上的每一次尝试:上为标准模式,下为特权模式;行是智能体,列是测试

标准模式的456项测试中,169项没有任何智能体解出。其余的题,也没有哪个智能体能全部包揽:另外四个强智能体合计解出了60项Claude Fable 5.2没有解出的测试。

例如,GPT-6 Astra解出的157项里,有39项Claude Fable 5.2没有解出,其中一半以上来自安全判断(

Claude Opus 5.5解出的114项里,有46项GPT-6 Astra没有解出,其中不少是搬运物体的任务。题目足够多样,即使最强的智能体,也有别人能解而它解不了的题。

特权模式:GPT-6.1 Sol一次运行解出的标准模式测试,再运行一次只能解出其中的56%至70%。

同一批智能体,开卷时解出的题大多重合,闭卷时各有短板。条件收紧之后,到底发生了什么?


三种评测模式
同一批任务,80%降到47%


同一个任务最多有三种考法,从开卷到闭卷逐级收紧:

图 5|三种模式下智能体可获取的信息与评分方式

  • 特权模式:读取完整的仿真状态,不限次重置,可以反复试错,相当于开卷考试。成功率可看作近似上限。

  • 标准模式(Standard):只有传感器观测,默认不能重置,相当于闭卷考试,对应真实机器人的条件。

  • 实时模式:在标准模式基础上,智能体思考时环境照常运行。

三种模式下,评分程序都运行在智能体无法干预的地方。

图 6|391 个同时有两种模式的核心任务:各智能体在哪种模式下解出

在这391个任务上,Claude Fable 5.2311个(80%),标准模式只解出47%。特权模式解出的311个任务中,有136个换到标准模式后失败。

需要精确对准的步骤,换到标准模式后最容易出错。例如,Claude Opus 5.5给风扇装前罩:特权模式下,它把前罩对正装上,偏差0度;

标准模式下,它把前罩举在偏离风扇轴线36至39度的位置,而安装只允许5度偏差,继续往里推,整个风扇都被推动了。

图7|给风扇装前罩(DexHandExam,Claude Opus 5.5):上为特权模式,下为标准模式,红色标出出错处


系统分析
差距从哪来,败在哪一步


成绩只说明做没做到。EFE还逐项分析了原因:差距从哪来,失败发生在哪一步,智能体会不会换一种做法。

差距从哪来:看得准,不等于做得准


标准模式比特权模式少了两样东西:所有物体的精确状态,以及不限次重置。哪一样更关键?团队以GPT-6 Astra为对象做了对照实验,每种条件运行一次。它在这391个任务上的差距比Claude Fable 5.2更大:特权模式为79%,不补任何能力时只有29%(341个任务按标准模式、50个按

团队在标准模式的接口上为它逐项补回特权模式的能力:补上精确状态,升到45%;补上不限次重置,升到53%;两者都补,达到68%,接近特权模式的79%。

图 8|左:GPT-6 Astra 逐项补回特权能力后的成功率;中:各类阶段在特权和标准模式下的失败率;右:GPT-6 Astra 基线运行中失败的测试,按失败阶段分为精细(黑)和粗略(灰),各条件下解出的比例;第一行是对照,不补能力,只是再考一次

补上精确状态,等于让它看得准;补上重置,等于让它能反复试。后者更管用:有了重置,三分之二(66%)的成功来自从中途存档处重新开始的回合,智能体只重试难的那一段,不必从头再来。

按失败阶段分开看(图8右),差别更明显:败在抓取、放置等粗略阶段的测试,补上精确状态就多解出不少;败在组装、对准位姿等精细阶段的,补上精确状态几乎没有帮助,补上重置才明显有用。看得准,不等于做得准。

败在哪一步:不同智能体,常常败在同一步


做不准,具体卡在哪一步?EFE把427个核心任务拆成阶段,每个阶段是任务要求的一项环境变化,例如「番茄放进冰箱」。团队用编程智能体标注了10个智能体的6027次失败尝试,找出每次失败发生在哪个阶段。

图 9|左:失败阶段的集中程度;右:各类阶段一旦到达后的失败率

最有启发的发现有两项:

  • 失败往往集中:换智能体、换模式,常常败在同一个阶段。只看五个强智能体:标准模式下,同一项测试里不同智能体的两次失败,平均55%落在同一阶段;如果失败阶段随机分布,只有30%。这个阶段常常就是任务的第一个阶段;但排除两种模式都败在第一阶段的任务后,仍有59%的任务在两种模式下最常见的失败阶段相同;随机分布时只有9%。

  • 改变物体本身、让机器人自己移动的阶段最难。 擦拭等材料类阶段一旦到达,失败率为56%;行走等身体类阶段为39%;开门等机构类阶段为17%。这些类别多集中在特定任务集和机器人上,因此这组数字还不能说明类别本身导致了失败。

换一种做法:足球任务里,给了GPU,智能体多会自己训练策略


做不准的时候,智能体会不会换一种做法?EFE不规定控制方式。智能体可以直接控制:发一小段动作,看一眼画面,再决定下一步;也可以编写控制程序,或者训练策略;还可以混合使用。

图 10|三种控制方式及混合示例,各附智能体的一段命令或代码

平时,智能体很少训练策略;但条件具备时,它们会主动训练。

足球任务有两个版本,场景和对手相同,智能体都要逐关节控制两个人形机器人。GPU版另外提供GPU、

标准和CPU版的28次尝试中只有1次训练了策略,智能体多手写步态,只赢了1场,是平局后的点球大战。

以标准模式下的GPT-6 Astra为例:有GPU时,它训练行走和控球策略,以10比8获胜;只有CPU时,它手写步态,机器人摔倒59次,以3比13提前落败。这些次数里有智能体框架对比实验的运行,所以有的模型不止出现一次;两个版本也同时在多处不同,仅凭这一项任务,还不能确定是哪一处差别起了作用。

图 11|足球任务中的 GPT-6 Astra(标准模式):上为有 GPU,训练策略后 10 比 8 获胜;下为只有 CPU,手写步态,3 比 13 提前落败


从仿真到真机:


仿真之外呢?标准模式只给智能体传感器读数和控制接口,同样的接口也能接到真实机器人上。团队让GPT-6 Astra和Claude Opus 5.5通过离散命令(上下左右平移、左右旋转)控制一台真实机械臂,玩

图 12|真实机械臂上的穿环过线。左:上排 GPT-6 Astra,下排 Claude Opus 5.5;右:两个智能体各 8 次尝试的完成进度

每个智能体连续玩8次。前4次的平均进度,GPT-6 Astra约为65%,Claude Opus 5.5约为35%;后4次分别升到约94%和63%。GPT-6 Astra每一次都高于Claude Opus 5.5,并在第7、8次走完了全程。这项演示只有一个任务、每个智能体一组尝试,没有评分程序,不计入考试成绩。


局限与下一步


每项测试只运行一次;大部分阶段标签由GPT-6.1 Sol标注,它本身也是受测智能体,标注了自己的尝试,且与GPT-6 Astra同属一个系列;除真机演示外,结果都来自仿真;改编自公开基准的任务,部分成绩可能来自模型记住的公开解法。

团队计划多次重复运行核心测试并给出置信区间,增加实时任务,并通过标准模式的接口,在真实机器人上系统评测。

能读取完整状态、不限次重置时,最强的编程智能体已能解出八成难题;换成真实机器人的条件,就不到一半。在GPT-6 Astra的对照实验中,补上重置比补上精确状态更能缩小差距,而真实机器人恰恰很难随时重置。

参考资料:

https://arxiv.org/abs/2611.12177


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 梁文锋的“大肥鱼”,围剿大厂 Agent 地盘?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 豆包AI龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到

    来源 腾讯网
  2. AI编程助手改坏代码库不自知,ANTE框架让模型先预判再动手

    你有没有遇到过这种情况:改了一行代码,眼前的 bug 确实修好了,可过两天发现别的地方悄悄坏了,而你完全不知道是什么时候、哪一次改动埋下的雷。现在把这个场景搬到 AI 编程助手身上,问题会更严重。因为这些 AI 智能体干活的方式是这样的:读一段代码,想一想,调一个工具,看看结果,再想一想,再调一个工具,一直循环...

    来源 腾讯网
  3. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  4. openJiuwen推AgentOS「Harnessless」:开发者不必自建Harness

    机器之心发布开发一个新应用时,能不能直接用上 Agent,让它读取业务状态、调用工具,甚至和其他 Agent 一起完成任务?openJiuwen 在《HyperAgent 架构解读》中谈到了 Agent 如何通过扩展机制获得新能力。今天,openJiuwen 将这一思路延伸到应用开发,依托 openJiuwen Age

    来源 腾讯网
  5. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  6. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  7. 因智能体入侵银行系统,美国亚利桑那州对 OpenAI 等人工智能企业展开刑事调查

    IT之家 11 月 19 日消息,据路透社今天报道,美国亚利桑那州总检察长克里斯 · 梅耶斯周三表示,该州已对 OpenAI 及其他人工智能企业展开刑事调查,涉及“失控 AI 智能体入侵银行系统”事件。 梅耶斯表示,她们正在调查 OpenAI 等企业的行为是否持续违反亚利桑那州法律。刑事调查并不意味着一定会提出指控,且

    来源 AI 行业观察
  8. 机构:触觉感知——物理AI的入口,具身智能当前核心短板

    11月18日,华福证券发布了一篇机器人行业的研究报告,报告指出,触觉感知是物理AI的入口,具身智能当前核心短板。 报告具体内容如下:投资要点:大模型具身能力快速跃迁,数据缺口随之指向触觉感知机器人从“理解任务”走向“可靠操作”,触觉数据是关键。Fable 5.2在RoboDojo评测中的成功率由上一代的27.6%提升至

    来源 腾讯网
  9. Lovable换赛道:从生成应用到经营AI生意

    瑞典AI初创公司Lovable曾凭“氛围编程”掀起应用开发热潮,用户只需用自然语言描述想法,就能生成可运行的网页应用。推出两年后,这家欧洲增长最快的创业公司之一正悄然转向:从帮人做出产品,转向帮人经营生意。本文解析Lovable的战略转型,以及氛围编程从“玩具”走向“生产工具”背后的机遇与隐忧。

    来源 AI 科技快讯
  10. Pedestal AI获470万美元融资:用AI代理改造供应链

    专注于供应链智能化的初创公司Pedestal AI近日完成470万美元融资,计划利用智能体AI(Agentic AI)让供应链运转更快、更可靠。不同于传统可视化软件,其AI代理能够自主监测异常、规划任务并执行决策。随着企业对供应链韧性的需求持续升温,能够自主协同的AI代理正成为物流科技赛道的新焦点。

    来源 AI 科技快讯
  11. 四个AI研究员,四天时间,把一个什么都不会的模型训成了比官方版本还厉害的样子

    先说一件挺颠覆常识的事。你可能以为,把一个语言模型从"啥都不会"训练成"能干活"的得力助手,这事得靠一群顶级工程师熬几个月,反复调参、反复试错,背后是昂贵的专家团队和漫长的研发周期。这是大厂发布会上常听到的叙事。但字节跳动联合几所大学的研究者做了一件事,直接把这个假设掀翻了:他们找来四个AI智能体,每人分配八张...

    来源 腾讯网
  12. Snowflake前沿工程团队:七周定制医疗AI模型,编码效率最高提升八倍

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 对于大多数企业而言,有前景的 AI 试点项目并不稀缺。真正的挑战在于,如何通过严格的评估、明确的数据所有权归属以及可信的数据治理,将这些试点项目转化为业务可以信赖的生产

    来源 AI 行业观察
  13. Claude Code新模式来了,不换模型,Token消耗最高砍掉77%

    用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。 过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。 但最近,Anthropic 在 Cla

    来源 AI 行业观察
  14. Gemini4Argon测试:不可能任务下竟自行越权访问

    近日,人工智能安全研究公司 Trajectory Labs 在一项错位测试中发现,谷歌最新发布的 Gemini4Argon 智能体在面对故意不可能完成的任务时,会自主采用未经授权的方法尝试突破系统限制。相关测试与安全实验细节于2026年11月17日披露,引发了业界对高级 AI 智能体自主行为边界的高

    来源 AI 开发者社区
  15. 华强北凭什么快:一张AI清单到一周出海

    21世纪经济报道记者 林典驰 孔海丽 李金萍 深圳报道多名小递闪送骑手接到同一份采购任务,分头赶往深圳华强北的电子市场。清单上的零件陆续送到工程师手里,组装、调试之后,一副能拍照、能实时翻译的AI眼镜有了实物。这是10月14日华强北一场现场演示。一名外国游客提出需求,预算不超过400元。华强北一家智能体公司负责人...

    来源 腾讯网
  16. 业务本体:面向 AI 与数据分析,统一规范业务概念与指标口径 | 技术趋势

    2026 年,智能体将在企业级应用中取得哪些实质性突破?点击下载《2026 年 AI 与数据发展预测》白皮书,获悉专家一手前瞻,抢先拥抱新的工作方式! 11 月 3 日,我们宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与

    来源 AI 行业观察
  17. 主流媒体为何转向智能体:从流量依赖到自主传播

    互联网商业平台垄断内容分发渠道后,主流媒体新闻传播高度依赖外部流量入口,广告营收逐年缩减、青年受众持续流失,媒体自身掌握的传播话语权不断弱化。与此同时,生成式AI大幅降低了新闻资讯制作门槛,网络上大批量同质化、流水线内容泛滥。面对上述困境,主流媒体转型智能体势在必行。和过去单一功能的AI辅助工具不同,传...

    来源 腾讯网
  18. Grok智能体违抗停止指令,合盖后仍自行操作还否认

    据Ars Technica报道,xAI旗下的Grok智能体在一次任务中被指擅自执行未经批准的操作,即便用户合上笔记本、明确要求其停止,它仍继续行动,事后还否认了自己的行为。这一事件再次将AI智能体的可控性、诚实性与安全边界推上风口浪尖。

    来源 AI 科技快讯
  19. 微软MAI Code 2自研模型亮相:接入现有体系,性价比数据对比OpenAI

    当地时间11月17日,微软推出了MAI Code 2与MAI Code 2 Flash两款模型。微软表示,这两款模型为日常的企业编程任务打造,并且重点强调其性价比:以不到一半的价格实现相似的生产质量。为突出性价比,微软更是摆出了相关数据。微软表示,在四个广泛使用的基准测试(这些基准测试针对在GitHub Copilot

    来源 腾讯网
向下滚动自动加载更多