Navers Lab发布WorkflowArena:多智能体编排首个统一基准

资讯 AI 应用前沿 全文 3331 字 · 约 9 分钟读完 分类智能体学术研究

Einsia AI旗下Navers Lab推出WorkflowArena,这是行业首个针对多智能体工作流编排的评测基准。它包含145项跨领域长程任务,不预设分工,由模型自主调度子智能体完成。通过隐藏判题器和全过程留痕,该基准能分离并量化模型的“编排能力”与“执行能力”,为Agent框架研发和模型选型提供新的标尺。

所属频道 智能体与 Agent前沿研究

单点任务上的分数已经很难拉开差距,多智能体协作却还缺一把统一的尺子

这两年,大模型在单项任务上的成绩基本顶到了头。写段代码、答个常识题,排在前面的几个模型准确率咬得很紧。可任务一长、步骤一多,还要调用外部工具配合,表现就常常掉得很厉害。

已有的基准里,SWE-bench 名气最大,它盯的是单个 Agent 能不能把 GitHub 上的某个 Issue 修好。这当然有意义,但它默认的是一个人单干的场景。落到真实的企业应用,更常见的是得先拆、再分、最后合起来的长程活儿。比如一边写代码,一边做财务对账、生成 3D 资产,或者在法律文档里交叉核对条款。

这种时候,模型能不能把自己组织起来,比它能不能写出某一行代码更关键。Einsia AI 旗下的研究实验室 Navers Lab 推出了 WorkflowArena,想回答的就是这么个问题:扔给它一个模糊的大目标,大模型能不能自己设计工作流、调度多个子智能体(Worker),最后交出一个能用的结果?

只给目标,路径自己想办法

WorkflowArena 的思路说起来不复杂:目标给你,路怎么走不告诉你。

研究者在这个基准里搭了 145 项长程任务,铺到软件工程、科学计算、数学、金融、法律、3D 制作、内容设计和企业运营 8 个领域。这些任务不是问答题,而是要交出“可执行交付物”的活儿。拿金融领域来说,模型可能要处理跨主体的对账数据;到了 3D 制作,生成出来的部件得满足共享空间里的物理约束。

模型该怎么分工,WorkflowArena 不设规定。拆不拆、拆成几个子任务、每个子任务派给哪个 Worker、上下文怎么在 Worker 之间传,全由模型自己拿主意。

这种“开放式指挥台”的路子,直接考的是模型的元认知和规划本事。它不再等着接指令,而是自己动手把系统搭起来。

判题器藏起来,资源卡得死

为了让评测结果站得住脚,WorkflowArena 在技术设计上做了不少克制又严谨的安排。

头一条是“隐藏判题器”。不少基准里,模型能靠试探单元测试来作弊或者过度拟合。WorkflowArena 把测试用例和标准答案对 Agent 完全藏住。判题器放在 Solver 容器外面,只在最后阶段对整合好的交付物做整体验收。该领域的验收标准全部满足,才算“解决”。这种黑盒测试更贴近真实情况——客户不会把测试用例告诉你,他只看最终产品能不能用。

第二条是资源约束卡得很严。每个任务都从干净的容器起步,主智能体和最多 16 个并发 Worker 共用 4 小时的执行预算。每个 Worker 启动时上下文都是全新的,编排者(Orchestrator)就得想清楚哪些信息要传。传少了,Worker 干不动活;传多了,不光费 Token,还可能顶出上下文窗口。规划、调度、返工花掉的时间,统统算进总预算。

计分分两块。主指标叫 Overall Resolved(完全解决率),二元判定,要么全对,要么失败。哪怕干完了 90%,最后整合出了错,也是 0 分。辅助指标是 Overall Score(0-100 连续分),用来记录做到了哪一步。这么设计,就是不给“差不多算过”留余地,逼着模型盯住端到端的完整性。

换个编排者,Worker 不动

WorkflowArena 最值钱的创新,是它给出了一种“换脑不换手”的实验办法。

以前评价一个 Agent 系统,很难说清到底是模型聪明,还是底下的执行工具厉害。WorkflowArena 可以固定执行模型(也就是干活的 Worker),只换写工作流的那个模型(也就是指挥的 Orchestrator)。

实验有两种模式。静态模式下,编排者写完工作流就下场,不再插手;动态模式下,编排者全程盯着,按 Worker 的反馈随时改策略。让不同的编排者在同一套执行环境里跑,研究者第一次能把“编排能力”本身的贡献量出来。

初步数据里,最强系统的完全解决率只有 36.95%。这个数比 SWE-bench 等成熟基准的头部得分低不少,说明多智能体编排还是个没解透的难题。数据也透出另一层意思:决定上限的常常不是砸钱堆算力,而是协作组织得够不够高效。

和 SWE-bench 比,差在哪儿

想把 WorkflowArena 的位置看明白,拿它和 SWE-bench 摆在一起比一比就清楚了。

SWE-bench 管的是软件工程里的单点问题,任务来自真实的 GitHub Issue,判题靠公开的单元测试。它的生态很成熟,Leaderboard 和优化工具一抓一大把。短板在于领域只有一个,也没考察多智能体怎么协作。

WorkflowArena 铺开 8 大领域,任务形态更杂。它不用公开测试用例,靠的是隐藏判题和过程留痕。更关键的一点,它把每一次调用的细节都记了下来,研究人员能据此分析“模型是怎么组织起来做事的”。SWE-bench 量的是单兵作战的本事,WorkflowArena 量的是指挥调度的手艺。

WorkflowArena 怎么用

开发者和研究者可以直接使用 WorkflowArena,整套项目完全开源。从 GitHub 克隆仓库后,按下面的流程就能在本地把评测环境搭起来。

  1. 先做准备:本机要装好 Python 3.11+、Git 以及 GitHub CLI。
  2. 获取数据:使用 gh release download v1.0.0接着下载科学计算输入文件和媒体镜像压缩包。这些文件体积不小,最好先确认网络状况。
  3. 校验完整性:运行 shasum -a 256 -c SHA256SUMS下载完成后核对文件哈希值,确认数据没有被篡改或损坏。
  4. 准备任务:运行 scripts/prepare_inputs.py把冻结数据链接到任务包里,再运行scripts/verify_dataset.py凡是缺失或未登记的文件,一律拒之门外。
  5. 构建镜像涉及内容和 3D 的任务另有步骤:先运行load_images.py载入媒体镜像,再以各任务目录为上下文构建 Docker 容器。
  6. 运行评测之后在 Harbor 兼容的 Runner 中启动 Agent。判题文件放在tests/目录里,Solver 看不到它。评测跑完,可以到results/目录下查看 CSV 格式的详细数据。

实际应用场景

WorkflowArena 不只为刷榜而生,它对真实业务同样有明确的参考价值。

模型选型与路由:企业可以按不同领域(金融还是代码)的解决率和单题成本,挑出性价比最高的模型组合。有些模型在代码编排上又便宜又好用,放到法律文档处理上却未必行得通。

Agent 框架研发:开发 Claude Code、Codex 这类多智能体脚手架的团队,能把 WorkflowArena 当作可量化的标尺。引入新工具或改动通信协议之后,编排效率有没有真的提升,一看便知。

成本预算规划:基准给出的帕累托前沿图,能帮团队更合理地定 Token 预算。数据显示,某些任务上加大推理强度,边际收益会逐渐递减,算力也就没必要白花。

学术研究:作为多智能体编排方向的标准化基座,它给后续论文提供了统一的对比平台。研究者可以在此之上探索异构系统(强模型指挥、弱模型执行),也可以尝试新的协作结构。

结语

多智能体系统正从“玩具演示”迈向“生产可用”,这个过程中需要更精细的尺子来量进步。WorkflowArena 没说自己是万灵药,但它点出了当前大模型应用的一块关键短板:让模型开口说话我们很在行,让它们彼此协作却还不在行。

36.95% 的解决率公布之后,接下来的竞争焦点或许会从单纯的模型参数规模,转向更高效的编排算法与更合理的系统设计。对开发者来说,现在正是吃透多智能体工作流机制的好时机。

项目地址:

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 多智能体系统:为何要专门训练一个“做噩梦”的AI旁观者?

    你有没有想过,为什么公司里经验最老道的质检员,往往不是看了最多"正常产品"的那个人,而是见过最多"奇葩次品"的那个人?这个问题,其实和今天要聊的这篇论文高度相关。想象一下,你现在负责管理一群AI智能体,它们正在帮你写代码、做数学题、浏览网页完成各种任务。这些智能体不是一个人在战斗,而是像一个项目组一样互相...

    来源 腾讯网
  2. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  3. 多智能体AI组队方案怎么选:稀疏奖励下如何学会挑团队

    你有没有遇到过这种情况:团队接了个项目,可以让三个程序员一起干,也可以让一个程序员加两个审核员,还可以让一个数学高手单干。这几种搭配最后都能把活儿干完,但效率和准确度天差地别。现在把"团队"换成AI智能体,把"项目"换成一道数学题,这就是这篇论文要解决的问题。多智能体系统*:让多个AI模型像一个团队一样协作...

    来源 腾讯网
  4. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  5. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  6. 腾讯元宝联合KCL发布群聊Agent基准:记住不等于会用

    腾讯元宝与伦敦国王学院团队推出GroupAssistBench,基于8万条真实群聊消息,评测AI助手在多人场景下的记忆能力。研究发现,能准确召回历史事实的模型,未必能在服务中正确使用这些信息。通过引入关系证据整理和约束绑定机制,可显著提升AI在复杂群聊中的实际表现。

    来源 AI 应用前沿
  7. GPT-6.2 Astra解出Smoktunowicz定理:94分钟写出全球首个形式化证明

    Vals AI最新高难数学基准测试中,GPT-6.2 Astra以87.50%的准确率登顶。面对Lean公共数学库缺失的三个关键定理,Astra自主定义“容量”这一新数学工具,绕开原论文证明路线,仅用94分钟、1794行Lean代码,完成Smoktunowicz间隙定理的全球首个形式化证明。

    来源 华尔街见闻
  8. DeepSeek V1作者Tony Zhang创业做Linger:12GB显存本地跑125B模型

    前DeepSeek核心成员Tony Zhang公布新项目Linger,主打本地部署的个人AI助理。通过PolyStrata引擎优化,普通游戏本也能流畅运行125B参数大模型。系统开源,强调数据隐私与主动学习能力,能自动整理知识库并操作电脑应用。

    来源 AI 应用前沿
  9. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  10. Signal默认屏蔽截图:iOS与安卓防AI读取消息

    IT之家 11 月 22 日消息,开源端到端加密聊天应用 Signal 近日推出 iOS / Android 版更新,默认关闭应用程序内截图功能,以阻止 Siri AI 和 Gemini 等 AI 智能体读取用户私人消息。 Signal 总裁 Meredith Whittaker 表示,系统级 AI 智能体的影响力正不

    来源 AI 行业观察
  11. 2027 AI进化峰会12月26日落地上海张江:模型如何走向物理世界

    12月26日,机器之心联合张江AI创新小镇在上海举办「2027 AI进化峰会」。大会聚焦模型底层、智能形成、系统承载与真实落地四大维度,邀请全球学者与产业专家探讨AI从单点能力向体系化协同进化的关键变量,解析Agent自主探索、光计算及具身智能等前沿趋势。

    来源 AI 应用前沿
  12. Gemini 4 Neon双榜高分:文档解析与另一赛道如何同时领先?

    本期速报关注几个硬核进展:Gemini 4 Neon在文档解析和智能体榜单上表现抢眼;匿名模型Gestalt在设计评测中击败人类设计师参考分。阿里确认用自研处理器训练新模型,字节跳动则发表论文主张精简AI训练流程。此外,AWS更新了Quick工作流工具,Databricks强调了数据治理对Agent准确率的重要性。

    来源 AI 应用前沿
  13. 苹果AI新布局:自研智能体操控Mac,对标四款竞品

    TechCrunch报道称,苹果似乎正在开发可在Mac上自主执行任务的AI智能体,直接对标Meta Muse、Instinct、Claude与OpenAI Dots等产品。这标志着苹果的AI战略正从Siri式的语音助手,转向能够理解目标、拆解步骤并操作用户界面的“行动型AI”。凭借软硬件一体化与端侧算力优势,

    来源 AI 科技快讯
  14. 谷歌SIM机制曝光:Gemini可继承Claude经验,新模型不再从零开始

    谷歌内部,或许真正实现了RSI! 从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始! 或许也正是这个原因,谷歌最近跟疯了似的不停发模型。 Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。 答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇最新

    来源 AI 行业观察
  15. Claude攻克3SUM与APSP:AI成基础科研实质合作者

    本期速报关注 AI 在基础科学与工程落地上的两极分化。Claude 协助发现算法突破并参与黎曼猜想形式化证明,显示 AI 辅助科研进入深水区;与此同时,GPT-6.2 Astra 在写作和翻译任务上出现能力退化。工程侧,NVIDIA 提出将推理缓存为 CPU 代码以大幅降低成本,LangChain 分享企业级智能体架构

    来源 AI 应用前沿
  16. Snowflake Expedition 2026:AI智能体与实时流式升级?

    2026 年 Snowflake Expedition 大会上,Snowflake 展示了一系列覆盖平台架构的重大升级,正逐步由云数据平台演进为支持自主 AI 智能体、实时流式应用和对话式商业智能的统一引擎。 此次发布围绕一个核心理念展开:AI 的价值取决于其所依托的企业业务上下文。 通过引入原生业务本体(Busine

    来源 AI 行业观察
  17. 智能体AI架构:挑战与机遇并存,工程师如何应对

    大多数软件工程师和架构师对微服务和云原生架构早已耳熟能详,多年来也一直参与构建基于这些架构的系统。基于微服务的系统通常由数十、数百甚至数千个服务组成,负责不同类型的数据处理任务——API 端点、数据管道、后台工作流,以及各类中间场景——但它们都有一个共同点:按照代码确定的逻辑或基于从数据存储中检索到的数据来处理数据。这

    来源 AI 行业观察
向下滚动自动加载更多