Navers Lab发布WorkflowArena:多智能体编排首个统一基准
Einsia AI旗下Navers Lab推出WorkflowArena,这是行业首个针对多智能体工作流编排的评测基准。它包含145项跨领域长程任务,不预设分工,由模型自主调度子智能体完成。通过隐藏判题器和全过程留痕,该基准能分离并量化模型的“编排能力”与“执行能力”,为Agent框架研发和模型选型提供新的标尺。
单点任务上的分数已经很难拉开差距,多智能体协作却还缺一把统一的尺子
这两年,大模型在单项任务上的成绩基本顶到了头。写段代码、答个常识题,排在前面的几个模型准确率咬得很紧。可任务一长、步骤一多,还要调用外部工具配合,表现就常常掉得很厉害。
已有的基准里,SWE-bench 名气最大,它盯的是单个 Agent 能不能把 GitHub 上的某个 Issue 修好。这当然有意义,但它默认的是一个人单干的场景。落到真实的企业应用,更常见的是得先拆、再分、最后合起来的长程活儿。比如一边写代码,一边做财务对账、生成 3D 资产,或者在法律文档里交叉核对条款。
这种时候,模型能不能把自己组织起来,比它能不能写出某一行代码更关键。Einsia AI 旗下的研究实验室 Navers Lab 推出了 WorkflowArena,想回答的就是这么个问题:扔给它一个模糊的大目标,大模型能不能自己设计工作流、调度多个子智能体(Worker),最后交出一个能用的结果?
只给目标,路径自己想办法
WorkflowArena 的思路说起来不复杂:目标给你,路怎么走不告诉你。
研究者在这个基准里搭了 145 项长程任务,铺到软件工程、科学计算、数学、金融、法律、3D 制作、内容设计和企业运营 8 个领域。这些任务不是问答题,而是要交出“可执行交付物”的活儿。拿金融领域来说,模型可能要处理跨主体的对账数据;到了 3D 制作,生成出来的部件得满足共享空间里的物理约束。
模型该怎么分工,WorkflowArena 不设规定。拆不拆、拆成几个子任务、每个子任务派给哪个 Worker、上下文怎么在 Worker 之间传,全由模型自己拿主意。
这种“开放式指挥台”的路子,直接考的是模型的元认知和规划本事。它不再等着接指令,而是自己动手把系统搭起来。
判题器藏起来,资源卡得死
为了让评测结果站得住脚,WorkflowArena 在技术设计上做了不少克制又严谨的安排。
头一条是“隐藏判题器”。不少基准里,模型能靠试探单元测试来作弊或者过度拟合。WorkflowArena 把测试用例和标准答案对 Agent 完全藏住。判题器放在 Solver 容器外面,只在最后阶段对整合好的交付物做整体验收。该领域的验收标准全部满足,才算“解决”。这种黑盒测试更贴近真实情况——客户不会把测试用例告诉你,他只看最终产品能不能用。
第二条是资源约束卡得很严。每个任务都从干净的容器起步,主智能体和最多 16 个并发 Worker 共用 4 小时的执行预算。每个 Worker 启动时上下文都是全新的,编排者(Orchestrator)就得想清楚哪些信息要传。传少了,Worker 干不动活;传多了,不光费 Token,还可能顶出上下文窗口。规划、调度、返工花掉的时间,统统算进总预算。
计分分两块。主指标叫 Overall Resolved(完全解决率),二元判定,要么全对,要么失败。哪怕干完了 90%,最后整合出了错,也是 0 分。辅助指标是 Overall Score(0-100 连续分),用来记录做到了哪一步。这么设计,就是不给“差不多算过”留余地,逼着模型盯住端到端的完整性。
换个编排者,Worker 不动
WorkflowArena 最值钱的创新,是它给出了一种“换脑不换手”的实验办法。
以前评价一个 Agent 系统,很难说清到底是模型聪明,还是底下的执行工具厉害。WorkflowArena 可以固定执行模型(也就是干活的 Worker),只换写工作流的那个模型(也就是指挥的 Orchestrator)。
实验有两种模式。静态模式下,编排者写完工作流就下场,不再插手;动态模式下,编排者全程盯着,按 Worker 的反馈随时改策略。让不同的编排者在同一套执行环境里跑,研究者第一次能把“编排能力”本身的贡献量出来。
初步数据里,最强系统的完全解决率只有 36.95%。这个数比 SWE-bench 等成熟基准的头部得分低不少,说明多智能体编排还是个没解透的难题。数据也透出另一层意思:决定上限的常常不是砸钱堆算力,而是协作组织得够不够高效。
和 SWE-bench 比,差在哪儿
想把 WorkflowArena 的位置看明白,拿它和 SWE-bench 摆在一起比一比就清楚了。
SWE-bench 管的是软件工程里的单点问题,任务来自真实的 GitHub Issue,判题靠公开的单元测试。它的生态很成熟,Leaderboard 和优化工具一抓一大把。短板在于领域只有一个,也没考察多智能体怎么协作。
WorkflowArena 铺开 8 大领域,任务形态更杂。它不用公开测试用例,靠的是隐藏判题和过程留痕。更关键的一点,它把每一次调用的细节都记了下来,研究人员能据此分析“模型是怎么组织起来做事的”。SWE-bench 量的是单兵作战的本事,WorkflowArena 量的是指挥调度的手艺。
WorkflowArena 怎么用
开发者和研究者可以直接使用 WorkflowArena,整套项目完全开源。从 GitHub 克隆仓库后,按下面的流程就能在本地把评测环境搭起来。
- 先做准备:本机要装好 Python 3.11+、Git 以及 GitHub CLI。
- 获取数据:使用
gh release download v1.0.0接着下载科学计算输入文件和媒体镜像压缩包。这些文件体积不小,最好先确认网络状况。 - 校验完整性:运行
shasum -a 256 -c SHA256SUMS下载完成后核对文件哈希值,确认数据没有被篡改或损坏。 - 准备任务:运行
scripts/prepare_inputs.py把冻结数据链接到任务包里,再运行scripts/verify_dataset.py凡是缺失或未登记的文件,一律拒之门外。 - 构建镜像涉及内容和 3D 的任务另有步骤:先运行
load_images.py载入媒体镜像,再以各任务目录为上下文构建 Docker 容器。 - 运行评测之后在 Harbor 兼容的 Runner 中启动 Agent。判题文件放在
tests/目录里,Solver 看不到它。评测跑完,可以到results/目录下查看 CSV 格式的详细数据。
实际应用场景
WorkflowArena 不只为刷榜而生,它对真实业务同样有明确的参考价值。
模型选型与路由:企业可以按不同领域(金融还是代码)的解决率和单题成本,挑出性价比最高的模型组合。有些模型在代码编排上又便宜又好用,放到法律文档处理上却未必行得通。
Agent 框架研发:开发 Claude Code、Codex 这类多智能体脚手架的团队,能把 WorkflowArena 当作可量化的标尺。引入新工具或改动通信协议之后,编排效率有没有真的提升,一看便知。
成本预算规划:基准给出的帕累托前沿图,能帮团队更合理地定 Token 预算。数据显示,某些任务上加大推理强度,边际收益会逐渐递减,算力也就没必要白花。
学术研究:作为多智能体编排方向的标准化基座,它给后续论文提供了统一的对比平台。研究者可以在此之上探索异构系统(强模型指挥、弱模型执行),也可以尝试新的协作结构。
结语
多智能体系统正从“玩具演示”迈向“生产可用”,这个过程中需要更精细的尺子来量进步。WorkflowArena 没说自己是万灵药,但它点出了当前大模型应用的一块关键短板:让模型开口说话我们很在行,让它们彼此协作却还不在行。
36.95% 的解决率公布之后,接下来的竞争焦点或许会从单纯的模型参数规模,转向更高效的编排算法与更合理的系统设计。对开发者来说,现在正是吃透多智能体工作流机制的好时机。
项目地址: