Claude Opus 5.5领跑WorkflowArena:长程任务完全解决率仅36.95%

资讯 AI 应用前沿 全文 3814 字 · 约 10 分钟读完 配图 10 张 分类ClaudeOpusAnthropic模型发布大模型智能体

Einsia AI发布WorkflowArena基准,评测大模型在软件工程、法律等领域的多智能体编排能力。结果显示,即便最强的Claude Opus 5.5,面对复杂长程任务的完全解决率也不足37%。研究还发现,擅长执行任务的模型未必擅长编排,而优秀的编排策略能让弱模型性能显著提升。不同模型呈现出“谋定后动”与“小步快

所属频道 大厂动态模型发布智能体与 AgentClaude 与 Anthropic

从单兵作战到团队指挥

以往聊起大模型,大家盯的多是它单枪匹马能写出多漂亮的代码、画出多精美的图。Claude Code、Codex 这类框架冒出来之后,规则就变了。模型不再只是闷头干活的“执行者”,它们已经能在运行时拉起子智能体、自己写调度脚本。

图片

任务怎么拆、上下文怎么分、中间结果在哪儿校验——这些原本由工程师硬编码进多智能体系统的逻辑,如今交给模型临场拍板。

图片

变化随之带来一个问题:碰上真实的、环环相扣的长程任务,大模型究竟能不能把这一群智能体组织好?

图片

现有评测多数只盯最终结果成不成,或者干脆在预设好的协作结构里测模型。核心难点被绕开了:要是连“怎么分工”都得模型自己想,它还搞得定吗?

图片

针对这一点,Einsia AI 旗下的 Navers Lab 推出了 WorkflowArena,一个专测大模型多智能体编排能力的基准。它收录 145 项长程任务,覆盖软件工程、企业运营、科学研究、数学推导、金融、法律、内容设计与 3D 制作 8 大专业领域,并对 9 个主流前沿模型的 25 种推理配置做了全面测试。

图片

不规定路径,只看交付结果

图片

设计思路很直接:不给模型任何预设的工作流模板。

图片

每道题都是一份真实的专业交付物。有的要求改一个开源代码库并通过回归测试,有的要复现一项科学实验结果,还有完成一套 Lean 形式化证明、编制一份涉及多个主体的合并报表、分析一起有多名被告的案件,或者在 Blender 里照图纸搭出一座完整的建筑群。

图片

这些任务都强耦合:代码改动不能只动一处,财务数据得在不同主体间对账,法律结论要在多份文书里保持逻辑一致,3D 场景的各部件要严丝合缝。单独做对某一块没意义,整合起来通过验收才算成功。

评测时,模型拿到的是一个空白的“指挥台”。

  • 自主决策:分工不分、怎么分,模型自己定。它可以亲自上手,也能通过 Workflow 工具调度多个子智能体;每个子智能体该知道哪些信息,全由主模型交代。
  • 共享预算:主智能体和所有子智能体共用同一份推理预算,规划、调度、返工烧掉的 Token 都算在里面。模型因此必须在“想得周全”和“控住成本”之间做取舍。
  • 黑盒判题:判题器和标准答案对模型不可见,评分只看最终交付结果,跟用了多少子智能体、调了多少次工具无关。不过每一次调度记录都会完整留存,供后续分析。

这样的设置让 WorkflowArena 不只能回答“做得怎么样”,还能看出“是怎么组织起来做的”。

没有全能选手,最强者也仅及格

评测采用严格的“完全解决率指标”:交付物满足全部验收标准才算真正解决,各部分都做对但整合失败的提交一律判失败。

结果有些令人清醒:榜首的 Claude Opus 5.5(max)平均完全解决率只有 36.95%。

换句话说,即便是当前最强的系统,面对这些复杂长程任务,也有超过六成的概率没法完整交付。通吃所有领域的系统,一个都没有。

领域之间的差距也很大。

  • 形式化数学已接近饱和,Claude Opus 5.5 解决了 95.83% 的任务。
  • 软件工程最高只有 29.41%。
  • 金融最高 18.75%。
  • 法律最高仅 9.09%。

Claude Opus 5.5 在软件工程、科学与数学三项上排在最前,Claude Sonnet 5.5 则在法律和内容设计上更占优,GPT-6 Astra 与 Doubao-Seed-Evolving 在企业运营任务里并列第一。不同模型在不同领域互有胜负。

通用能力行不行,和具体领域里的编排能力强不强,并不是一回事。法律任务要面对大量非结构化文本之间的逻辑冲突,眼下的模型处理起来仍然吃力。

两种截然不同的编排哲学

WorkflowArena 把每一次调度细节都记了下来,各模型在“怎么把多智能体组织起来”上的风格差异因此看得相当清楚。

数据里呈现出两种很不一样的流派:

1. Claude 系:“谋定后动”

Claude Opus 5.5 和 Claude Sonnet 5.5 走的是调用次数少、单次规模大的路子。两者平均每题分别只调用 0.86 次和 0.76 次 Workflow,可每次平均调度 5.55 个和 6.14 个子智能体。Sonnet 那边有 30% 的工作流涉及 9 个以上子智能体。

这套做法好比开工前先开一场详尽的项目会,角色全部安排妥当,再分头行动。

2. GPT 系:“小步快跑”

GPT-6 Astra 和 GPT-6.1 Sol 正好反过来。它们平均每题调用 Workflow 2.09 次和 1.94 次,频率更高,但每次只调度 1.72 个和 1.69 个子智能体,约 99% 的工作流子节点不超过 4 个。

这更像敏捷开发,边做边看,碰上问题再临时拉人帮忙。

风格差异还会随任务领域上下浮动。法律任务里,Claude Opus 5.5 每个工作流平均调度 14.29 个子智能体,想一口气把所有关系理清;GPT-6 Astra 只有 1.73 个,更靠串行推进。到了数学任务,Kimi K3.1 Pro 每题调用 Workflow 达 9.67 次,每次却只调度 1.74 个子智能体,迭代频率极高。

调用勤,不等于协作摊子大;摊子大,也未必效率就高。真正要紧的是哪种方式跟任务本身的结构更合拍。

会做题不代表会带队

有个发现挺有意思:自己本事大,未必带得好团队。

研究团队做了个迁移实验:执行模型固定(比如 Kimi K3.1 Pro、DeepSeek V4.1 Flash 等),只换负责写工作流的“编排者”(Claude Opus 5.5 或 GPT-6 Astra)。编排者不能直接改文件,只能下指令。

结果有些出人意料:

  • Opus 编排出来的工作流,让所有执行模型都变强了。Kimi K3.1 Pro 在 Opus 编排下得分从 35.75 涨到 46.61,提升近 11 分;DeepSeek V4.1 Flash 也从 18.37 分升到 25.24 分。四个执行模型平均提高 6.41 分(静态模式)。
  • GPT-6 Astra 的编排效果就不太理想。它自己在全部任务上的平均得分有 77.29,远高于那些执行模型,可它编排的工作流交给别人跑,静态模式下平均分反倒降了 2.53 分,动态模式下也只提升 1.34 分,Kimi 和 DeepSeek 的成绩还被它拉低了。

这个结果说明,多智能体编排能力并非任务完成能力的附带品,它需要单独衡量,也值得单独优化。

好的编排者知道怎么把复杂任务拆成可执行的原子操作,并给每个子智能体配上恰到好处的上下文。这种“元能力”,目前看 Claude Opus 5.5 掌握得更好。

烧钱不一定有好结果

把完全解决率和每题平均推理成本摆到一处,性价比地图就出来了。

各系统的编排成本能差出数十倍:最省的配置每题不到一美元,最贵的要几十美元。GPT-6 Astra 每题的花费是 Claude Opus 5.5 的好几倍,解决率却一直没赶上后者。

推理强度调高,成本会猛涨,收益却不大。同一个模型身上,真正决定上限的是编排水平,不是烧掉多少 Token。

3D 建造任务可以说明问题。模型要照着施工图纸,在 Blender 里把建筑搭出来:

  • 宫殿任务中,Claude Opus 5.5 把 7 个子智能体派出去分头建造殿宇,再组装修复,拿到 78.86 分;GPT-6 Astra 先打基础、再统一组装,得分 73.86。到了大教堂任务,Claude 选的是两次整体建造,得分 77.95;GPT 按区域分给三个子智能体再整合,得分 81.59。这一项上,GPT 的分区域策略更管用。
  • 要塞任务里,两边都只用一个主建造者。差别在动工之前:Claude 先派 7 个子智能体研读图纸,得分 64.31;GPT 边建边审图,得分 55.35。

编排方式没有放之四海而皆准的答案。能不能编排好,取决于对任务结构理解得够不够深。并行有时更高效,串行有时更稳妥;前期舍得投入资源做规划(比如研读图纸),后期返工就能少一些。

下一步:异构多智能体系统

WorkflowArena 的结果说明,眼下的大模型在多智能体编排上还有很大的提升余地。只靠堆模型参数、加推理步数,边际效应已经在递减。

一个可能的方向是异构多智能体系统:让擅长规划和编排的强模型(如 Claude Opus)当“项目经理”,让擅长特定领域执行、或者成本更低的模型当“执行员工”。

从“一个 Agent 完成一件事”走到“一个 Agent 组织一群 Agent 完成一件事”,系统智能的竞赛才刚开局。WorkflowArena 留下的完整工作流记录,也为研究怎么优化这种“组织力”备下了宝贵的数据基础。

对开发者来说,设计多智能体应用时,不能只盯单个模型的能力,还得花时间打磨工作流的设计逻辑,或者引入专门的编排层。复杂的长程任务面前,组织得好比个体强更重要。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Agent领导力大考!Einsia AI发布WorkflowArena,行业首个多智能体编排基准

    机器之心发布智能体正从单打独斗走向多智能体协同。如今的 Claude Code、Codex 等框架,已经允许模型在运行时自己拉起子智能体,甚至直接写出调度它们的可执行工作流:任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构,正在交给模型自己临场决定。这意味着

    来源 腾讯网
  2. 便宜得离谱!Meta甩出“最省钱模型”,1/3成本追平Claude Haiku 5.5

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月10日消息,今日,Meta正式发布最新模型Muse Ember,主打复杂推理和智能体任务。Meta称,这是其迄今体量最小、效率最高的模型,能够跨应用执行工作流、连续调用工具、运行测试并修复代码。Muse Ember持100万Token上下文窗口,

    来源 腾讯网
  3. 成本仅1/3!Meta 新模型 Muse Ember 硬刚 Claude Haiku 5.5

    昨夜,Meta 正式发布新一代轻量级 AI 模型 Muse Ember。据介绍,这是 Meta 迄今推出的体积最小、效率最高的模型,主要面向复杂推理执行,以及 AI Agent 在日常工作中需要反复处理的任务,包括工具调用、编程子任务、任务路由、信息提取和长文档解析等。 Meta CEO 扎克伯格在 x 上发文写道:“

    来源 AI 行业观察
  4. Claude Fable 5.2与Mythos 5.2同源:智能不再是难题后拼什么?

    Anthropic在11月9日推出Claude Fable 5.2,共用底层模型的Claude Mythos 5.2仅限验证机构使用。Fable 5.2展现出多Agent协作潜力:1000个子智能体用不到30小时完成费马大定理形式化验证,比9月的11天大幅缩短;还能独立开发操作系统、设计硬件。不过其定价为每百万Toke

    来源 凤凰科技
  5. Claude Code被曝写入密码:GitHub惊现2539个真实凭据

    IT之家 11 月 10 日消息,科技媒体 Ars Technica 昨日(11 月 9 日)发布博文,指出 AI 编程智能体 Claude Code 正在把部分开发者的敏感凭据意外暴露到公开的 GitHub 仓库中。 安全公司 Apiiro 的研究人员发现,超过 10 万份 Claude Code 本地设置文件被上传

    来源 AI 行业观察
  6. Claude Fable 5.2机器人操作得分64.9%,前Optimus研究员加盟

    机器之心编辑部今天凌晨,Anthropic 一口气发布两款顶级模型 Claude Fable 5.2 和 Mythos 5.2。新模型在科学研究方面展示了多项成果,包括通过约 1000 个 AI 智能体协作,仅用 30 小时完成费马大定理证明的形式化。在此次更新中,机器人控制能力也备受关注。在官方的发布文章中,科学与工

    来源 腾讯网
  7. Claude核心研发者:拉开差距的不是提示词,是使用野心

    神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。 编者按:大部分人用顶级大模型只当润色工具,Claude 核心研发者亲述:拉开人与人差距的不是提示词,是使用野心。文章来自编译。 我参与了Claude 的研发。这是一种很有意思的体验:每天我都会听说又有人借助 Claud

    来源 AI 行业观察
  8. 蚂蚁灵波:5000小时数据如何破解机器人手感难题?

    Anthropic的Fable 5.2展示了通用大模型在机器人操作上的潜力,但精细操作仍依赖高质量触觉。蚂蚁灵波发布LingBot-Touch,通过近5000小时真实触觉数据预训练,统一了视触觉、磁触觉和压阻式三种传感器信号。实验显示,该模型能显著提升不同灵巧手在拧瓶盖、旋转物体等26项真机任务中的成功率,且具备跨硬件

    来源 AI 应用前沿
  9. Anthropic双模型更新:Fable 5.2提速30%,Mythos试水科学计算

    Anthropic集中更新Claude Fable 5.2和Mythos 5.2,前者在ARC-AGI-2基准测试中得分93.8%,后者展示AAV衣壳结构预测能力。官方称千个智能体30小时完成费马大定理形式化,但结果待复现。此外,Google Maps接入AI Studio,蚂蚁集团开源触觉模型LingBot-Touc

    来源 AI 应用前沿
  10. PSI用未发布大模型解题:量子计算二十年悬案有了答案?

    AI初创公司PSI借助Anthropic尚未公开发布的大模型,解决了一个困扰量子计算领域近二十年的基础性问题。这家公司正试图把“AI驱动科学发现”从实验室里的惊艳演示,变成一门可持续的生意。在AI for Science赛道持续升温的当下,PSI的尝试既展现了前沿模型在基础科研中的潜力,也暴露出模型依赖、科学验证与商业

    来源 AI 科技快讯
  11. Claude Pro/Max等用户获免费额度重置,MCP Apps支持更多扩展

    IT之家 11 月 11 日消息,Anthropic 今日宣布修复了一项小 Bug,并为 Claude Pro、Max、Ultra 和 Team 用户提供一次免费的完整额度重置,覆盖所有模型及使用限制。 Anthropic 表示,此前有部分小问题导致 Claude 用户的词元消耗量超出预期。虽然这些问题并未影响所有用户

    来源 AI 行业观察
  12. Meta推出Muse Ember:跑分追平Haiku,成本仅三分之一

    轻量模型赛道又挤进一位狠角色。Meta 在 11 月 10 日推出 Muse Ember,标榜自家"迄今最小、最高效"的模型,专为复杂推理和智能体反复执行的日常任务而生。它不拼参数规模,只拼性价比。 跑分追上 Haiku,账单只剩零头 在 Artificial Analysis 榜单上,Muse Ember 的综合表现

    来源 AI 开发者社区
  13. PSI用AI破解量子计算二十年难题,想把科学发现做成生意

    AI初创公司PSI借助Anthropic尚未公开发布的大模型,解决了一个困扰量子计算领域近二十年的基础性问题。这家公司正试图把“AI驱动科学发现”从实验室里的惊艳演示,变成一门可持续的生意。在AI for Science赛道持续升温的当下,PSI的尝试既展现了前沿模型在基础科研中的潜力,也暴露出模型依赖、科学验证与商业

    来源 AI 行业观察
  14. Anthropic免费重置Claude额度:Pro、Max、Ultra与Team可领

    IT之家 11 月 11 日消息,Anthropic 宣布修复了一项小 Bug,并为 Claude Pro、Max、Ultra 和 Team 用户提供一次免费的完整额度重置,覆盖所有模型及使用限制。Anthropic 表示,此前有部分小问题导致 Claude 用户的词元消耗量超出预期。虽然这些问题并未影响所有用户,但此

    来源 腾讯网
  15. 蚂蚁灵波LingBot-Touch开源:近5000小时触觉数据,任务成功率最高90%

    蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进一步补齐精细操作所需的触觉感知。

    来源 TechWeb
  16. 蚂蚁灵波开源LingBot-Touch:近5000小时数据补上机器人触觉

    11月10日,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐关键的触觉感知能力。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进一步补齐精细操作所需的

    来源 AI 开发者社区
  17. Claude Fable 5.2发布:编程超GPT-6 Astra,多项基准登顶

    Anthropic 今天(11 月 10 日)发布 Claude Fable 5.2 与 Claude Mythos 5.2 两款前沿 AI 模型。官方称,新模型在编码、推理、科学研究、网络安全及机器人等领域均有显著提升,同时输出速度最高提高 30%,成本下降 20%。

    来源 IT之家
  18. 西蒙·威利森用Claude Code做Beep Locator,声源定位缩至约40厘米

    IT之家 11 月 11 日消息,软件开发者西蒙 · 威利森(Simon Willison)于 11 月 9 日发布博文,借助 AI 编程工具 Claude Code,开发名为 Beep Locator 的声音定位系统,可以将声源锁定至约 40 厘米范围。 IT之家援引博文介绍,开发该 Beep Locator 系统的

    来源 AI 行业观察
  19. Anthropic推Claude Fable 5.2:编程超GPT-6 Astra

    IT之家 11 月 10 日消息,Anthropic 今天(11 月 10 日)发布 Claude Fable 5.2 与 Claude Mythos 5.2 两款前沿 AI 模型。官方称,新模型在编码、推理、科学研究、网络安全及机器人等领域均有显著提升,同时输出速度最高提高 30%,成本下降 20%。 根据官方披露的

    来源 AI 行业观察
  20. Claude Fable 5.2登顶最强:千个智能体8天造出可启动系统

    Anthropic 在 11 月 10 日甩出双模型组合拳——Claude Fable 5.2 与 Mythos 5.2 同步登场,官方称:新模型在编码、推理、科研、网安到机器人全面进阶,输出速度最高提 30%、成本降 20%。 编码推理双杀对手 在智能体编码基准 FrontierCode 2.0 上,Fable 5.

    来源 AI 开发者社区
向下滚动自动加载更多