Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...

资讯 AI 行业观察 全文 4299 字 · 约 11 分钟读完 配图 9 张 分类智能体

Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...

所属频道 智能体与 Agent
图片
机器之心发布

智能体正从单打独斗走向多智能体协同。


如今的 Claude Code、Codex 等框架,已经允许模型在运行时自己拉起子智能体,甚至直接写出调度它们的可执行工作流:任务怎么拆、每个子智能体拿到什么上下文、中间结果在哪里校验、最后如何整合。过去由工程师预先设计好的多智能体结构,正在交给模型自己临场决定。


这意味着,多智能体编排本身成了一项关键能力。同样一批智能体,组织得好可以事半功倍,组织得不好则会互相拖累。但现有评测要么只看任务最终有没有完成,要么在设计者预先规定好的协作结构里测试,始终没有回答一个问题:


「面对真实的长程任务,大模型能不能自己把多智能体系统组织好?」


为此,Einsia AI 旗下 Navers Lab 发布 WorkflowArena,专门评测大模型的多智能体编排能力。基准包含 145 项长程任务,覆盖软件工程、企业运营、科学研究、数学推导、金融、法律、内容设计与 3D 制作 8 大专业领域,对 9 个主流前沿模型的 25 种推理配置进行了全面评测。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 2)

WorkflowArena 的 145 项任务分布在 8 大领域、17 种任务形态


  • 论文题目:WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems

  • 项目主页:https://lab.einsia.ai/workflowarena

  • GitHub:https://github.com/Einsia/WorkflowArena

  • Arxiv:https://arxiv.org/pdf/2611.12856


不规定怎么分工,只看最终交付


WorkflowArena 的每道题,都是一份真实的专业交付:修改一个开源代码库、复现一项科学结果、完成一套 Lean 形式化证明、编制一份多主体合并报表、分析一起多被告案件,或在 Blender 里搭出一座完整的建筑群。


这些交付物的共同点是,各部分环环相扣:代码改动要通过原有的回归测试,财务数据要在不同主体之间对得上,法律结论要在多份文书间保持一致,3D 场景的各个部件要拼得严丝合缝。每一块单独做对还不够,整合在一起才算数。


能拆、但拆完必须对齐,正是编排能力的用武之地:比如合同组合分析,每份合同可以分头审,但合同之间的冲突必须合起来才看得出。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 3)

WorkflowArena 构建流程:真实素材 → 筛选「可拆分但相互耦合」的工作 → 只规定目标、不规定工作流 → 校验结果与整合。


评测中,模型拿到的是一个空白的「指挥台」:


  • 怎么编排,模型自己定。它可以自己动手,也可以通过 Workflow 工具同时调度多个子智能体,并随时查看、终止、修改工作流。要不要分工、怎么分工,完全由模型决定。每个子智能体该知道什么,也由它来交代。

  • 编排也要花时间。主智能体和所有子智能体共享推理预算,规划、调度、返工都算在里面。

  • 判题隐藏,过程留痕。模型看不到判题器和标准答案,评分只看交付结果,与用了多少子智能体无关;同时,每一次调度都被完整记录下来。


这样一来,WorkflowArena 不仅能看到「做得怎么样」,还能看到「是怎么组织起来做的」。


最强系统也只解决 36.95%,没有全能选手


WorkflowArena 采用严格的完全解决率:只有交付物满足全部验收标准,才算真正解决。各部分都做对、却没整合好的提交,同样判为失败。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 4)

25 种配置在 8 大领域的完全解决率(%),按总体结果排序。


榜首是 Claude Opus 5.5(max),平均完全解决率 36.95%。换句话说,即便是当前最强的系统,也有六成以上的任务没能完整交付。


领域之间的差距更加悬殊。形式化数学已接近饱和,Claude Opus 5.5 解决了 95.83%;但软件工程最高只有 29.41%,金融最高 18.75%,法律最高仅 9.09%。


而且,没有一个系统能通吃全部领域:Claude Opus 5.5 领跑软件工程、科学与数学,Claude Sonnet 5.5 拿下法律和内容设计,GPT-6 Astra 与 Doubao-Seed-Evolving 则拿下企业运营的并列第一。


Claude 与 GPT:两种截然不同的编排风格


由于每一次调度都被记录在案,WorkflowArena 把不同模型「怎么组织多智能体」摆在了同一张图上。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 5)

每道题平均调用 Workflow 的次数(左)与每个 Workflow 平均调度的子智能体数(右)。


结果显示出两种鲜明的风格:


  • Claude 系「谋定后动」:调用少,规模大。Claude Opus 5.5 和 Claude Sonnet 5.5 平均每题只调用 0.86 和 0.76 次 Workflow,但每次平均调度 5.55 和 6.14 个子智能体;9 个以上子智能体的大型编排,在 Sonnet 中占到 30%。

  • GPT 系「小步快跑」:调用勤,规模小。GPT-6 Astra 和 GPT-6.1 Sol 平均每题调用 2.09 和 1.94 次,但每次只调度 1.72 和 1.69 个子智能体,约 99% 的工作流不超过 4 个。


这种风格差异还会随任务领域变化。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 6)

9 个模型在 8 大领域的委派频率(左)与委派规模(右),圆圈越大数值越高。


法律任务中,Claude Opus 5.5 每个工作流平均调度 14.29 个子智能体,GPT-6 Astra  只有 1.73 个;数学任务中,Kimi K3.1 Pro 每题调用 9.67 次 Workflow,每次却只调度 1.74 个子智能体。调用得勤,不等于协作的规模大。


换一个编排者,弱模型也能明显变强


系统得分高低主要由两部分决定:工作流设计和模型执行能力。那么,编排本身到底值多少分?


研究团队设计了一个巧妙的实验:执行模型固定不变,只更换编写工作流的模型。Claude Opus 5.5 和 GPT-6 Astra 担任编排者,Kimi K3.1 Pro、GPT-6 Luna、DeepSeek V4.1 Flash、Doubao-Seed-Evolving 担任执行者;编排者不能亲自修改任何文件,所有实际工作都由执行模型完成。实验分两种模式:编排者写完工作流就离场(静态),或者全程在线、根据反馈不断调整(动态)。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 7)

核心子集上的工作流迁移结果。Self 为执行模型自己编排;加粗与下划线分别为每行最高与次高分。


注:这里比较的是连续得分(部分完成也计分)。子集难度明显更高,Kimi K3.1 Pro 在全部任务上平均 62.73 分,在这里只有 35.75 分。


Opus 编排的工作流,让所有执行模型都变强了。


  • Kimi K3.1 Pro 从 35.75 分提升到 46.61 分,涨了近 11 分;

  • DeepSeek V4.1 Flash 从 18.37 分提升到 25.24 分;

  • 四个执行模型平均提升 6.41 分(静态)和 6.27 分(动态)。


由于 Claude Opus 5.5  全程没有碰过任何文件,这些提升来自它设计的工作流,以及它交给每个子智能体的指令。


更有意思的是:自己会做,不代表会编排。


GPT-6 Astra 本身是一个强得多的系统:在全部 145 道题上平均得分 77.29,明显高于四个执行模型(最高为 Kimi K3.1 Pro 的 62.73)。可它编排的工作流交给别人执行,效果却差强人意:静态模式平均降低 2.53 分,动态模式平均提升只有 1.34 ,还拉低了 Kimi K3.1 Pro 和 DeepSeek V4.1 Flash 的成绩。


上述结果说明,多智能体编排能力并不是任务完成能力的副产品,而是一项需要单独衡量、也值得单独优化的能力。


算笔经济账:编排一道题要花多少钱?


把完全解决率和每道题的平均推理成本放在一起,就得到了这张性价比地图。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 8)

总体完全解决率与单题平均推理成本(对数坐标),折线为帕累托前沿。


不同系统的编排成本相差数十倍。同样是组织子智能体完成一份长程交付,最省的配置每题不到一美元,最贵的要几十美元。


但钱多不等于编排好。GPT-6 Astra 每道题的花费是 Claude Opus 5.5 的好几倍,解决率却始终没能追上 Claude Opus 5.5。同一个模型把推理强度往上调,成本大幅增加,收益却很有限。


决定上限的,是编排得好不好,而不是烧了多少 token。


同一座建筑,两种编排思路


3D 建造任务让编排的差异变得一目了然。模型需要根据施工图纸和设计变更单,在 Blender 中搭出完整的建筑场景。


Agent领导力大考!Einsia Al发布WorkflowArena,行业首个多智...(配图 9)

宫殿、大教堂、要塞三项任务中,Claude Opus 5.5 与 GPT-6 Astra 的交付成果与工作流对比。


  • 宫殿:Claude Opus 5.5 同时派出 7 个子智能体分头建造各个殿宇,再组装、检查、多轮修复(78.86 分);GPT-6 Astra 先打好共享基础,再交给单个子智能体统一组装(73.86 分)。

  • 大教堂:Claude Opus 5.5 选择两次整体建造(77.95 分);GPT-6 Astra 则把教堂按区域分给三个子智能体,再单独整合(81.59 分)。

  • 要塞:两者都只用一个主建造者,但 Claude Opus 5.5 在动工前先派出 7 个子智能体研读图纸(64.31 分),GPT-6 Astra  则边建边审图(55.35 分)。


同样是 3D 建造,有的编排用来并行造部件,有的用来为主建造者备好图纸。没有放之四海而皆准的编排方式,好的编排取决于任务本身的结构。


从「能执行」到「组织协同」


当任务越来越长、越来越复杂,决定上限的不再只是单个模型有多强,而是整个系统如何被组织起来。


WorkflowArena 的结果说明,今天的大模型在多智能体编排上仍有很大提升空间;而一份好的工作流,本身就能让同一批模型交出明显更好的成果。


WorkflowArena 完整记录了每份交付物和产出它的工作流,也为后续研究留下了空间:让强模型负责编排、弱模型负责执行的异构多智能体系统,或许正是下一步的方向。


从「一个 Agent 完成一件事」到「一个 Agent 组织一群 Agent 完成一件事」,系统智能的竞赛,才刚刚开始。




本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI个人Agent Dot解锁邮箱验证码:登录能自动填了

    个人Agent集体往前迈了一步。11月8日,OpenAI产品团队成员James Sun在社媒上发布一项产品更新,个人Agent产品Dot现在可以使用发到已连接邮箱的登录验证码,替用户完成登录。收到提示后,用户可以选择只允许这一次,也可以允许它以后自动填写。James Sun还说,后续会继续改进登录体验。消息发出后,用户

    来源 腾讯网
  2. 荣耀700全系标配AI背屏:弱通知与AI Agent能否让背屏翻红

    手机行业断断续续试了近10年的背屏,在2026年终于等到了自己的黄金时代。 2026年11月9日,荣耀终端有限公司产品线总裁方飞发文,公布荣耀700系列全系搭载AI灵动背屏,就连入门定位的荣耀700S都…配备,同时荣耀也放出了完整的新机图片,部分线下门店甚至直接摆上了真机。 图片来源:荣耀 有一说一,作为一款还没发布的

    来源 AI 行业观察
  3. 千问办公2.0上线:Agent进工作群,多人与数字员工同空间协作

    IT之家 11 月 9 日消息,据钉钉官方消息,今天千问办公 2.0 正式发布,这是一个面向个人与组织协作的 Team Agent。2.0 版本在协作、自动任务和人机共创等核心场景下进行了能力升级,该版本推出了首个支持多人与 Agent 协作的功能“协作”,同时上线“人机共创”“资料空间”“自动任务”和“三端互联”等核

    来源 AI 行业观察
  4. 腾讯“鹅次元”AI游戏陪伴Agent内测:能看画面陪聊,支持手机QQ

    IT之家 11 月 10 日消息,腾讯首款专属 AI 游戏陪伴 Agent“鹅次元”今日开启内测。这款产品面向 PC 玩家,提供拟人化的 AI 陪伴和实时语音互动。 IT之家了解到,“鹅次元”主打游戏场景实时陪伴,AI 能够看到用户的游戏画面,并根据画面信息与人互动。如果玩家在游戏中遇到不懂的东西,可以随时向这款 AI

    来源 AI 行业观察
  5. 千问办公2.0上线:Agent进群协作,自动任务主动干活

    千问办公在同日发布的官方博客《千问办公2.0:主动与协同,迈向Team Agent时代》中指出,主流办公Agent的产品形态仍以服务个人为主,团队的协作方式并未发生变化,下一代Agent需要进入团队协作的现场。千问办公推出的“协作”功能率先把Agent带进工作群,用户可以组建一个团队和数字员工共同工作的协作空间。千问办

    来源 TechWeb
  6. 千问办公2.0上线:Agent进群与团队协作,支持跨群汇总信息

    千问办公在同日发布的官方博客《千问办公2.0:主动与协同,迈向Team Agent时代》中指出,主流办公Agent的产品形态仍以服务个人为主,团队的协作方式并未发生变化,下一代Agent需要进入团队协作的现场。千问办公推出的“协作”功能率先把Agent带进工作群,用户可以组建一个团队和数字员工共同工作的协作空间。千问办

    来源 TechWeb
  7. AI Agent文件任务:交付可靠性成新难点

    (本文作者为 科技新星球,钛媒体经授权发布)文 | 科技新星球过去一段时间,AI产品的能力竞争主要围绕模型展开:参数规模、推理能力、上下文长度,以及生成文本和代码的质量。但当AI进入实际工作流程,评价标准正在发生变化。用户不再只问AI能不能写一段Python代码,而是会提出更具体的要求:把一个目录里的表格整理好,提..

    来源 腾讯网
  8. openJiuwen发布ADF:让物理设备成为Agent可调用的能力

    今天的 Agent 已经可以写代码、查资料、调用 API、操作软件。当 Agent 逐步走出屏幕,会发生什么? 想象一下: 你不再需要分别操作门锁、空调、灯光和扫地机器人。家庭 Agent 可以理解家中设备的功能,在获得授权后按需组合调用;当某个设备临时不可用时,还能寻找替代方案,继续完成日常任务。 走进一间会议室,你

    来源 AI 行业观察
  9. Anthropic发Claude Fable 5.2与Mythos 5.2:千个Agent 8天写系统

    这次 Anthropic 又把模型能力的边界往外推了一大截。 11 月 9 日,Anthropic 正式推出 Claude Fable 5.2 和 Claude Mythos 5.2,进一步提升了模型在编程、推理、视觉理解和科学研究等方面的能力。 两款新模型不仅成功地从零设计三款能正常工作的电子设备,还让 1000 个

    来源 AI 行业观察
  10. 最强Fable 5.2震撼发布!费马大定理30小时形式化,全面碾压Opus 5.5

    就在刚刚,Claude Fable 5.2与Claude Mythos 5.2震撼发布! 在基准测试中,它几乎超越了所有模型(基本都超越了Opus 5.5!),在智能编码、科学研究、网络安全、计算机使用上全面领先。 这两大巨兽,已经是能主导前沿科学研究、统帅上千个AI智能体的「超级科学家」与「首席工程师」。 AI完成了

    来源 AI 行业观察
  11. Meta发布Muse Ember:每百万token 10美分,Agent执行成本战开打

    Meta于11月10日发布轻量级模型Muse Ember,专为Agent执行场景设计,输入定价仅为每百万token 10美分,明显低于Haiku、Luna等前沿竞品。分析认为,这标志着大模型竞争正从能力竞赛转向执行成本竞赛,低价轻量模型或成为Agent规模化落地的关键基础设施,也将给同行带来新的定价压力。

    来源 AI 科技快讯
  12. 千问办公2.0发布:Agent进工作群,多人与数字员工同空间协作

    千问办公 2.0 今天正式发布,这是一个面向个人与组织协作的 Team Agent。2.0 版本推出首个支持多人与 Agent 协作的“协作”功能,数字员工可被带进工作群,实时关联钉钉群聊、文档等信息源,还上线“自动任务”“人机共创”“资料空间”等能力,让 Agent 从服务个人走向服务团队。目前所有功能已在千问办公客

    来源 IT之家
  13. 腾讯AI游戏陪伴Agent“鹅次元”开测:实时看画面陪聊

    该产品面向 PC 玩家,提供拟人化 AI 陪伴和实时语音互动,AI 能识别游戏画面并与玩家互动,支持 QQ 陪伴聊天、桌宠、壁纸更换等功能。目前已上线“夏夏”等四位角色,擅长《无畏契约》《英雄联盟》等游戏。#腾讯AI游戏陪伴鹅次元内测#

    来源 IT之家
向下滚动自动加载更多