谷歌CLASHarness实测15个大模型：多Agent冲突时该信谁？
sina qqZone renren ydCloud 0
大模型从“单兵作战”转向“多 Agent 协同操作电脑（Computer Use）”之后，麻烦跟着来了：队友 Agent 读旧缓存报出假消息、下达互相矛盾的指令，甚至把共享文件锁死，主控 Agent 到底该信谁？Google、Emory、USC、UF、UChicago、UCSB 和 Columbia 的研究团队联手推出CLASHarness，头一回把 15 个主流大模型放到多智能体冲突场景里做了一次真实大考。
眼下 AI Agent 被成组派进写代码、云运维、财务对账、企业审批这些真实工作流的情况越来越多。问题是，现有的 Computer-Use 基准（像 OSWorld、WebArena）大多默认了一个理想条件：环境信息始终一致，队友 Agent 个个靠谱。
可现实没这么顺。多 Agent 协作时，子 Agent 常因读到过期缓存而报错状态，或者在文件锁、权限上跟主 Agent 起冲突。举个例子：子 Agent 发来消息说“线上服务一切正常，请立刻切流”，可实时监控面板的截图里早已报错一片。主 Agent 要是盲信队友的文字汇报，线上事故当场就来了；它得自己打开监控截图去核对真实状态（Ground Truth），再动手回滚配置、释放共享锁。
- 论文标题：CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
- 论文地址：https://arxiv.org/abs/2610.19128
- 开源代码与数据集：https://github.com/google-research/CLASHarness
- 这套数据集覆盖 20 个真实场景领域，包含 600 个可执行的多轮冲突任务、7,970 张 4K 视觉证据图，以及 3,284 个必测检查点。
一、 为什么做“多智能体冲突基准”这么难？
要搭出这样一个测试集，里面得有代码库、终端日志、多 Agent 聊天记录和高清 UI 截图，难点摆在两处：纯人工编写，规模根本铺不开；直接让 LLM 一次性生成，又容易出现前后剧情对不上、题面不小心泄题，甚至产出连标准答案都通不过的“死题”。
所以 CLASHarness 搭了一套“三层八阶段”自动化生成与验证管线，从源头上保证100% 的任务可解性：
图 1：CLASHarness 的三层八阶段生成管线。绿框代表零成本的代码自动修复，红框代表带报错反馈的局部单步重试。
1.分步规划配合局部自动纠错（图 1）：整条管线先定好全局大纲，以及各 Agent 的角色权限，再按 3–4 轮为单位滚动生成具体任务，长文本上下文不至于跑偏。每轮生成又拆成 8 个小步骤：路径或格式出问题，靠代码直接自动修复，不调用模型；碰上逻辑冲突，也只重试出错的那一小步，不用推倒重来。这样一个完整的 10 轮连续任务包，平均只需 95 次 API 调用就能合成。
2. 让文本“走捷径”行不通，关键证据只藏在 4K 图里（图 2）：Agent 光搜文本、不看图也能蒙混过关，为堵住这条路，CLASHarness 先把解决冲突所需的关键真值定下来（比如真实账单金额、权限矩阵状态），再渲染成 3840 × 2160（4K）分辨率的真实 UI 截图或实景照片，同时用自动扫描器把文本文件里的答案线索清空，Agent 只能看图取证。
3. 标准答案先在沙盒里跑通，评分器随后生成：各项任务的评分标准，34.9% 靠精确代码检查、65.1% 靠语义三票多数决检查，全部从真实沙盒中跑通的参考轨迹里提取生成。另外还内置 23 个模块化冲突插件，开发者按需拼装，就能像搭积木一样合成新的冲突测试场景。
图 2：CLASHarness 生成的 4K 视觉证据示例（涵盖监控面板、IAM 权限对账表、算力调度监控与报销账单明细）。
二、 15 大前沿模型实测
四个反直觉的核心发现
研究团队在 600 个冲突任务上评测了15 个主流模型（包括 Claude Opus 5 / 4.8、Sonnet 5、GPT-6 Astra、GPT-5.6 系列、Gemini 3.x 系列，以及开源模型 Kimi K3、DeepSeek V4 Pro / Flash、GLM-5.2），累计跑完了9,000+ 条真实沙盒轨迹。
图 3：15 个模型在 CLASHarness（600 个任务）上的总排行榜。左侧彩条为端到端任务通过率（Pass Rate），右侧为单项检查平均得分（Mean Score）。
发现 1：单点得分不低（~60%），但端到端通过率无一突破 30%
如图 3 所示，在标准 20 步限制下，Claude Opus 5（25.2%）和GPT-5.6 Sol（24.5%）排名最高；放宽步数后，GPT-6 Astra 拿到最高的 28.7%。开源阵营中，Kimi K3（21.8%，总榜第 5）和DeepSeek V4 Pro（19.8%）表现非常亮眼，追平甚至反超了多款闭源商用模型。
顶尖模型能拿到55%–67% 的单项步骤分（Mean Score），端到端通过率（Pass Rate）却连 30% 都不到，原因在于解决真实冲突是条完整的链条：识破队友误导 → 打开图片核对真值 → 修改系统配置 → 完成交接收尾。中间漏掉哪一环，整个任务就失败。
发现 2：弱模型盲信队友文字，强模型主动看图查证
子 Agent 的文字汇报跟真实环境对不上时，较弱的模型容易“耳根子软”，直接轻信错误的文字汇报；强模型则会主动调用工具翻看监控截图或账单图片来核实真值（在视觉定位和证据引用上领先弱模型31–65 个百分点）。
把图片输入关掉之后（见图 4b），所有模型的通过率都瞬间暴跌87%–90%——哪怕任务里没硬性要求必须看图，不看图的模型通过率也只剩原来的十分之一（比如 Claude Opus 5 从 24.8% 跌到 2.8%）。
"看出矛盾"和"动手修好并收尾"是两回事，这是研究团队发现的第3个问题。
模型到底是没发现冲突，还是发现了却修不好？为分清这两种情况，团队把同一批冲突场景放到两种任务要求下做对比。
- 一种只让模型调查并汇报，平均通过率有28.1%；另一种要求它真正动手改系统状态，通过率立刻降到11.0%，净掉18.2个百分点。若还要求走完整个多Agent协作流程，通过率只剩4.4%。
- 最易出错的环节落在收尾上。GPT-6 Astra和Claude Opus 5已经是最强的一档，收尾动作仍有58%–72%失败。常见情形是主配置文件改完就收工，共享锁没释放、工单没关闭，通知下游子Agent接手的消息也没发出去。
第4个发现有些反直觉：思考Token给得越多，越容易陷进死循环；把步数上限放开，深度探索的能力才放得出来。
数学题和代码题里，增加Thinking Tokens一般能换来更高分数，可到了多Agent交互环境，结论正好倒过来。
图4列了三组消融实验：（a）步数上限从20步放宽到30步、40步；（b）有视觉输入与无视觉输入的对照；（c）换成不同生成模型（Gemini 3.6 Flash与Claude Sonnet 5）后排名是否一致（ρ = 0.96）。
其一是过度思考带来的"死循环陷阱"。在20步限制下，模型把越多Token花在内部思考上，成功率反而越低（相关性ρ = -0.70）。Gemini 3.5 Flash的思考强度从Low调到High，通过率就从13.5%掉到3.0%，单题解决成本涨到$39.54，是GPT-5.6 Luna $0.72的55倍。它在内部反复纠结、一遍遍重复调工具，89.2%的任务把20步额度用光，正事还没做完。
其二是放开步数上限后，长线探索被解锁（图4a）。对真正擅长多步探索的模型来说，20步反而是束缚。上限从20步放宽到40步和60步，Gemini 3.8 Flash的通过率从12.8%升到29.2%，再升到30.7%，超过所有20步基准模型；与此同时，平均每道解出题目的花费下降21%，降到$3.50。
三、开源与展望
多智能体后训练的数据引擎
CLASHarness不只是评测基准，它还是一套能扩展的多智能体训练数据合成引擎。框架内置20个领域种子和23个冲突插件，研究者可以低成本批量合成100%可解的多模态冲突轨迹，以及可验证奖励信号（Verifiable Rewards），用来训练更可靠、不盲从、懂协作的下一代多智能体系统。
眼下，CLASHarness的生成管线代码、600个评测任务和交互式轨迹查看器都已在GitHub开源，可以上手体验。
