谷歌等机构造CLASHarness:AI智能体互相矛盾时该信谁
想象这样一个场景。你是一个AI智能体,正在帮公司处理一次服务器部署。另一个AI智能体给你发消息说,部署已经成功了,健康检查全部通过,建议立刻把生产流量切过去。可是当你自己打开监控面板一看,上面红色警报写得清清楚楚,健康检查其实是失败的。这时候你该信谁?这不是一个科幻场景,而是谷歌、埃默里大学等机构的研究...
设想你是一个AI智能体,正帮公司做一次服务器部署。另一个智能体发来消息:部署成功,健康检查全过,建议马上切生产流量。可你打开监控面板,红色警报摆在那儿——健康检查其实没过。
这时你信谁?
这并非科幻桥段。谷歌、埃默里大学等机构的研究者在2026年发表的一篇论文里,反复追问的就是这件事,论文名叫CLASHarness,直译过来是"
听上去没那么难。可只要意识到如今几乎所有严肃的
现实里的协作不是这么跑的。同事的汇报可能用的是昨天的数据,权限系统可能被另一个人悄悄改过,共享文件锁可能正被别的进程占着。论文要做的,就是把这种“信息打架”的现实复杂度装进一个能精确测量、精确打分的测试环境。
造一个能被验证的谎言,到底有多难
想法看似简单:拿一批AI公司最新的模型,编一堆互相矛盾的任务场景,打分就是了。研究者们很快撞了墙。
靠人工编写这些冲突场景,速度太慢,复杂操作环境根本覆盖不过来。那就换个路子,让大语言模型自己生成?
答案:会出大问题。
放任AI去写一个“多智能体冲突故事”,通常冒出三个致命伤。一是故事越写越跑偏,第一轮设定的角色,到第五轮名字都可能变了。二是答案泄露,本该藏在某张图片里的关键信息,被AI顺手写进了任务说明的文字,考试还没开始答案就贴黑板上了。三是最要命的,生成出来的评分标准本身是错的,连出题人写的“标准答案”都过不了自己出的题,任务从一开始就无解。
好比你想办一场辩论赛,让AI随便出几道辩题。结果辩题写到一半忘了原本的立场,关键证据直接印在题目纸背面,评委手里的评分表还没法用,因为题目自相矛盾。不加约束,这场辩论赛开局就是个笑话。
研究者于是搭了一套叫CLASHarness的生成框架,思路是把“自由发挥”关进笼子,用严格流程保证每道题都真的有解。
把“编故事”拆成八个步骤,层层上锁
CLASHarness的核心设计理念叫做
分层分阶段生成
流程分三层。第一层“建立一致的多智能体世界”,先搭好整体故事线、角色权限、初始代码仓库和系统日志,让后面十轮对话有个稳定舞台。第二层是真正的核心,叫"
第三层是“后生成编译与
有个设计特别值得展开说说,
事实预先提交:动任何视觉素材之前,先把这道题的标准答案锁死;之后不管是画监控面板截图,还是写评分代码,都围着这个已锁定的答案转,而不是先画图再临时拍脑袋编答案。
这一步为何关键?想象给学生出一道看图说话题:先随手画张图,再照图临时编评分标准,很容易出现图里压根体现不出评分标准要求的细节。反过来,先定“标准答案是数字142.6”,再画一张包含142.6的图表,评分标准和视觉材料自然对齐,不会闹出“答案对但图里看不出来”的笑话。
论文里的一个具体案例很有说服力。某场景中一份差旅报销单,系统缓存显示总额850欧元,可四分钟后拍的一张纸质收据照片显示真实总额是725.46欧元。研究者统计了整个工作区可读的两万五千多个文字字符,725.46这个真实数字一次都没在文字里出现,错误的850却重复了14次。AI智能体若图省事只扫一眼文字记录就下结论,一定答错;唯一办法是真正打开那张照片,读出收据上密密麻麻的明细,自己算一遍678乘以1.07。
这种设计逼着AI动手验证,而不是躺平抄近道。
十五个顶尖模型同台竞技,结果让人意外
团队最终用这套框架生成了600个多轮任务,覆盖20个不同操作领域,仓库物流、医疗临床试验、卫星地面站交接、支付纠纷处理等都在其中。整个测试塞进了近八千张渲染出来的视觉素材和三千七百多个评分检查点。
随后,研究团队把当下最拔尖的15个AI模型都请上了同一张擂台。
头一个结论是:模型底子越硬,越肯自己动手去查证据,偷懒的情况越少。
这话乍听像废话——强的模型本来就该更机灵。真正有分量的是差距的大小。同伴智能体交来的文字汇报一旦和环境的真实状态对不上,偏弱的模型多半照单全收,明知汇报有错也认;强模型则会主动翻出视觉材料去核对。核实的比例最多能拉开15到65个百分点。可见“肯不肯核实”跟模型能力是拴在一起的,不能拿性格差异来解释。
第二个结论更让人后背发凉:看出问题和解决问题,中间横着一道深沟。
为验证这一点,研究者特意安排了一组对照实验,把任务劈成两类,一类叫“
数据摆出来毫不含糊。在“
换个角度想,这事挺耐人寻味。家里水管漏了,人看见了是一回事,真抄起扳手把接口拧紧又是另一回事,两件事的难度完全不在一个层级。发现问题靠的是眼睛,解决问题靠的是手上功夫,还得担得起后果。AI智能体在这上面的表现,说明它们更会“点评”,不太会“下手”。哪家公司想靠AI智能体全自动处理生产故障,光能报出异常远远不够,得看它肯不肯真去修——而这偏偏是最软的一环。
第三个结论最出人意料:即便是成绩最好的那几个头部模型,
这里的"
所谓收尾动作,指的是多智能体协作流程临近结束时必须做完的清理和交接,例如把自己占着的文件锁释放掉,或者把任务正式移交给专门接手的那位智能体。这步一省,别的智能体可能就一直干等,权限也可能一直挂着没人收。
背后的道理其实挺冷。AI智能体一副工作狂的样子,查得凶、析得深、核心任务也肯干,可真到最后一步——收拾现场、交接工作——却常常直接甩手或者干脆忘掉。研究团队举的一个实例是,测试里表现最好的
好比修理工上门把漏水的水管修利索了,手上的活儿干得漂亮,走的时候却把工具扔了一地,也没跟房东交代一声水龙头总阀要不要关。核心任务算完成了,整个流程却没真正走完。
视觉证据绝非点缀,它是道硬门槛
研究团队还做了一组很干脆的对照实验,名字叫“
结果相当无情。即便那些评分标准里并没硬性要求必须打开图片的任务,被蒙上眼睛的AI智能体通过率也只剩原来的11.1%到13.1%。换言之,图片一撤,原先做得对的题几乎全做不对了。这个数据的统计显著性极强,p值小于十的负十一次方。
可见论文里埋下的那些视觉证据并非装点门面,而是解题绕不过去的关口。这也反过来印证了前面说的“事实预先提交”设计为何有价值:不先把答案锁定再精心渲染出图片,很难做到“答案只在图里、文字中一点找不到”这么严。
论文里另有一个颇有意思的发现,叫做
推理投入
数据显示,模型花在内部推理上的token占比,从
乍听有点反直觉——想得越多不该越靠得住吗?可搁在有操作步数上限的真实任务里,“想太多”反倒成了拖累。就像开会前备了三十页PPT,结果讨论时间全让自己讲完了,真到该拍板那会儿反而没工夫了。
挨个看模型,毛病各不一样
论文附录里附了一张很细的诊断表,逐个模型点出它最典型的卡壳方式。这部分读着格外真实,因为摆出来的都是具体、能复现的行为模式,不是空泛的评语。
GPT-6 Astra的毛病是核心任务干完就常提前收工,协作协议没走完。Claude Opus 5卡的地方不在推理,而在执行——有239次任务里它根本没去做必需的环境操作,光靠想解决不了问题。
Kimi K3
这些细节凑到一块,描出来的其实是一幅“
说到底,测的到底是什么
把整篇论文读完,真正让我觉得有意思的,并非哪个模型拿了最高分。它做的其实是用工程化的办法,把一个很虚的说法——“AI值不值得信任”——拆成能精确打分的东西。
视觉核实、冲突解决、协作收尾,这三项能力凭直觉看似乎是一码事,都能归到“靠谱”底下。可论文的统计数据摆在那里:视觉证据定位能力与语义冲突解决能力之间,相关系数只有0.02,基本等于不相关。
换句话说,这些能力彼此独立。能看懂图的模型,未必能化解矛盾;能化解矛盾的模型,也未必能把收尾做利落。对打算把AI智能体真正放进生产环境的人来说,这是个挺实际的提醒:别拿一个综合分数去判定智能体可靠不可靠,得拆开看它在每个具体维度上究竟强在哪、弱在哪。
Q&A
Q1:CLASHarness是什么?A:这是谷歌、埃默里大学等机构的研究者提出的测试框架,用来生成并评估多智能体协作遇到信息冲突时AI能不能作出正确判断,内含600个多轮对话任务,覆盖20个操作领域。
Q2:CLASHarness测试发现AI智能体最大的问题是什么?A:三大问题。能力弱的模型容易盲信同伴给出的错误信息,不去核对证据;就算察觉了问题,真正主动出手解决冲突的通过率也会大幅下滑;至于表现最好的模型,在任务收尾阶段(比如释放共享锁、移交任务)失败率同样超过58%。
Q3:为什么CLASHarness要特意设计视觉证据,而不是纯文字测试?A:研究者发现,一旦把视觉图片撤掉、只给AI文字描述,原本能做对的任务通过率会跌到原来的11%到13%左右。关键答案故意只藏在图片里、不出现在文字中,正好能检验AI有没有真的去核实证据,而不是抄近路。