谷歌等机构造CLASHarness:AI智能体互相矛盾时该信谁

资讯 腾讯网 作者:科技行者 全文 3930 字 · 约 10 分钟读完 分类Google智能体

想象这样一个场景。你是一个AI智能体,正在帮公司处理一次服务器部署。另一个AI智能体给你发消息说,部署已经成功了,健康检查全部通过,建议立刻把生产流量切过去。可是当你自己打开监控面板一看,上面红色警报写得清清楚楚,健康检查其实是失败的。这时候你该信谁?这不是一个科幻场景,而是谷歌、埃默里大学等机构的研究...

所属频道 大厂动态智能体与 Agent

设想你是一个AI智能体,正帮公司做一次服务器部署。另一个智能体发来消息:部署成功,健康检查全过,建议马上切生产流量。可你打开监控面板,红色警报摆在那儿——健康检查其实没过。

这时你信谁?

这并非科幻桥段。谷歌、埃默里大学等机构的研究者在2026年发表的一篇论文里,反复追问的就是这件事,论文名叫CLASHarness,直译过来是"

听上去没那么难。可只要意识到如今几乎所有严肃的

现实里的协作不是这么跑的。同事的汇报可能用的是昨天的数据,权限系统可能被另一个人悄悄改过,共享文件锁可能正被别的进程占着。论文要做的,就是把这种“信息打架”的现实复杂度装进一个能精确测量、精确打分的测试环境。

造一个能被验证的谎言,到底有多难

想法看似简单:拿一批AI公司最新的模型,编一堆互相矛盾的任务场景,打分就是了。研究者们很快撞了墙。

靠人工编写这些冲突场景,速度太慢,复杂操作环境根本覆盖不过来。那就换个路子,让大语言模型自己生成?

答案:会出大问题。

放任AI去写一个“多智能体冲突故事”,通常冒出三个致命伤。一是故事越写越跑偏,第一轮设定的角色,到第五轮名字都可能变了。二是答案泄露,本该藏在某张图片里的关键信息,被AI顺手写进了任务说明的文字,考试还没开始答案就贴黑板上了。三是最要命的,生成出来的评分标准本身是错的,连出题人写的“标准答案”都过不了自己出的题,任务从一开始就无解。

好比你想办一场辩论赛,让AI随便出几道辩题。结果辩题写到一半忘了原本的立场,关键证据直接印在题目纸背面,评委手里的评分表还没法用,因为题目自相矛盾。不加约束,这场辩论赛开局就是个笑话。

研究者于是搭了一套叫CLASHarness的生成框架,思路是把“自由发挥”关进笼子,用严格流程保证每道题都真的有解。

把“编故事”拆成八个步骤,层层上锁

CLASHarness的核心设计理念叫做

分层分阶段生成

流程分三层。第一层“建立一致的多智能体世界”,先搭好整体故事线、角色权限、初始代码仓库和系统日志,让后面十轮对话有个稳定舞台。第二层是真正的核心,叫"

第三层是“后生成编译与

有个设计特别值得展开说说,

事实预先提交:动任何视觉素材之前,先把这道题的标准答案锁死;之后不管是画监控面板截图,还是写评分代码,都围着这个已锁定的答案转,而不是先画图再临时拍脑袋编答案。

这一步为何关键?想象给学生出一道看图说话题:先随手画张图,再照图临时编评分标准,很容易出现图里压根体现不出评分标准要求的细节。反过来,先定“标准答案是数字142.6”,再画一张包含142.6的图表,评分标准和视觉材料自然对齐,不会闹出“答案对但图里看不出来”的笑话。

论文里的一个具体案例很有说服力。某场景中一份差旅报销单,系统缓存显示总额850欧元,可四分钟后拍的一张纸质收据照片显示真实总额是725.46欧元。研究者统计了整个工作区可读的两万五千多个文字字符,725.46这个真实数字一次都没在文字里出现,错误的850却重复了14次。AI智能体若图省事只扫一眼文字记录就下结论,一定答错;唯一办法是真正打开那张照片,读出收据上密密麻麻的明细,自己算一遍678乘以1.07。

这种设计逼着AI动手验证,而不是躺平抄近道。

十五个顶尖模型同台竞技,结果让人意外

团队最终用这套框架生成了600个多轮任务,覆盖20个不同操作领域,仓库物流、医疗临床试验、卫星地面站交接、支付纠纷处理等都在其中。整个测试塞进了近八千张渲染出来的视觉素材和三千七百多个评分检查点。

随后,研究团队把当下最拔尖的15个AI模型都请上了同一张擂台。

头一个结论是:模型底子越硬,越肯自己动手去查证据,偷懒的情况越少。

这话乍听像废话——强的模型本来就该更机灵。真正有分量的是差距的大小。同伴智能体交来的文字汇报一旦和环境的真实状态对不上,偏弱的模型多半照单全收,明知汇报有错也认;强模型则会主动翻出视觉材料去核对。核实的比例最多能拉开15到65个百分点。可见“肯不肯核实”跟模型能力是拴在一起的,不能拿性格差异来解释。

第二个结论更让人后背发凉:看出问题和解决问题,中间横着一道深沟。

为验证这一点,研究者特意安排了一组对照实验,把任务劈成两类,一类叫“

数据摆出来毫不含糊。在“

换个角度想,这事挺耐人寻味。家里水管漏了,人看见了是一回事,真抄起扳手把接口拧紧又是另一回事,两件事的难度完全不在一个层级。发现问题靠的是眼睛,解决问题靠的是手上功夫,还得担得起后果。AI智能体在这上面的表现,说明它们更会“点评”,不太会“下手”。哪家公司想靠AI智能体全自动处理生产故障,光能报出异常远远不够,得看它肯不肯真去修——而这偏偏是最软的一环。

第三个结论最出人意料:即便是成绩最好的那几个头部模型,

这里的"

所谓收尾动作,指的是多智能体协作流程临近结束时必须做完的清理和交接,例如把自己占着的文件锁释放掉,或者把任务正式移交给专门接手的那位智能体。这步一省,别的智能体可能就一直干等,权限也可能一直挂着没人收。

背后的道理其实挺冷。AI智能体一副工作狂的样子,查得凶、析得深、核心任务也肯干,可真到最后一步——收拾现场、交接工作——却常常直接甩手或者干脆忘掉。研究团队举的一个实例是,测试里表现最好的

好比修理工上门把漏水的水管修利索了,手上的活儿干得漂亮,走的时候却把工具扔了一地,也没跟房东交代一声水龙头总阀要不要关。核心任务算完成了,整个流程却没真正走完。

视觉证据绝非点缀,它是道硬门槛

研究团队还做了一组很干脆的对照实验,名字叫“

结果相当无情。即便那些评分标准里并没硬性要求必须打开图片的任务,被蒙上眼睛的AI智能体通过率也只剩原来的11.1%到13.1%。换言之,图片一撤,原先做得对的题几乎全做不对了。这个数据的统计显著性极强,p值小于十的负十一次方。

可见论文里埋下的那些视觉证据并非装点门面,而是解题绕不过去的关口。这也反过来印证了前面说的“事实预先提交”设计为何有价值:不先把答案锁定再精心渲染出图片,很难做到“答案只在图里、文字中一点找不到”这么严。

论文里另有一个颇有意思的发现,叫做

推理投入

数据显示,模型花在内部推理上的token占比,从

乍听有点反直觉——想得越多不该越靠得住吗?可搁在有操作步数上限的真实任务里,“想太多”反倒成了拖累。就像开会前备了三十页PPT,结果讨论时间全让自己讲完了,真到该拍板那会儿反而没工夫了。

挨个看模型,毛病各不一样

论文附录里附了一张很细的诊断表,逐个模型点出它最典型的卡壳方式。这部分读着格外真实,因为摆出来的都是具体、能复现的行为模式,不是空泛的评语。

GPT-6 Astra的毛病是核心任务干完就常提前收工,协作协议没走完。Claude Opus 5卡的地方不在推理,而在执行——有239次任务里它根本没去做必需的环境操作,光靠想解决不了问题。

Kimi K3

这些细节凑到一块,描出来的其实是一幅“

说到底,测的到底是什么

把整篇论文读完,真正让我觉得有意思的,并非哪个模型拿了最高分。它做的其实是用工程化的办法,把一个很虚的说法——“AI值不值得信任”——拆成能精确打分的东西。

视觉核实、冲突解决、协作收尾,这三项能力凭直觉看似乎是一码事,都能归到“靠谱”底下。可论文的统计数据摆在那里:视觉证据定位能力与语义冲突解决能力之间,相关系数只有0.02,基本等于不相关。

换句话说,这些能力彼此独立。能看懂图的模型,未必能化解矛盾;能化解矛盾的模型,也未必能把收尾做利落。对打算把AI智能体真正放进生产环境的人来说,这是个挺实际的提醒:别拿一个综合分数去判定智能体可靠不可靠,得拆开看它在每个具体维度上究竟强在哪、弱在哪。

Q&A

Q1:CLASHarness是什么?A:这是谷歌、埃默里大学等机构的研究者提出的测试框架,用来生成并评估多智能体协作遇到信息冲突时AI能不能作出正确判断,内含600个多轮对话任务,覆盖20个操作领域。

Q2:CLASHarness测试发现AI智能体最大的问题是什么?A:三大问题。能力弱的模型容易盲信同伴给出的错误信息,不去核对证据;就算察觉了问题,真正主动出手解决冲突的通过率也会大幅下滑;至于表现最好的模型,在任务收尾阶段(比如释放共享锁、移交任务)失败率同样超过58%。

Q3:为什么CLASHarness要特意设计视觉证据,而不是纯文字测试?A:研究者发现,一旦把视觉图片撤掉、只给AI文字描述,原本能做对的任务通过率会跌到原来的11%到13%左右。关键答案故意只藏在图片里、不出现在文字中,正好能检验AI有没有真的去核实证据,而不是抄近路。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Google披露俄语黑客AI框架:全自动挖洞攻击法国媒体教育站

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 科技快讯
  2. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  3. 亚马逊不排除放行外部 AI 购物智能体,前提是带来优质用户体验

    IT之家 11 月 18 日消息,亚马逊此前关闭了外部 AI 购物智能体在其平台上直接下单的权限,但 CEO 安迪 · 贾西(Andy Jassy)表示,公司并没有彻底关上这扇门,未来仍有可能重新开放。 贾西当地时间周二在 Semafor 举办的“硅谷与世界”大会上表示:“我认为,我们从来没有说过绝对不会开放。这件事的

    来源 AI 行业观察
  4. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  5. Pedestal AI获470万美元融资:用AI代理改造供应链

    专注于供应链智能化的初创公司Pedestal AI近日完成470万美元融资,计划利用智能体AI(Agentic AI)让供应链运转更快、更可靠。不同于传统可视化软件,其AI代理能够自主监测异常、规划任务并执行决策。随着企业对供应链韧性的需求持续升温,能够自主协同的AI代理正成为物流科技赛道的新焦点。

    来源 AI 科技快讯
  6. AI收入连续三季度过半,百度智能组织成效初显

    百度正在按照创始人李彦宏所说的去推进「新厂房」的设计。作者|李威(北京)百度的Q3财报发布后,我们再看百度创始人李彦宏在2026百度世界大会上提出的「下一幕·智能组织」的判断,会发现这一判断已经获得了一定的验证。李彦宏指出,企业仅仅增加模型调用和Token消耗,并不必然带来收入和利润增长。AI要真正创造经济价值,需要进

    来源 腾讯网
  7. Gmail宕机传言虚惊一场,谷歌连夜澄清并指向补丁潮与AI挖洞

    过去一周,微软365、Outlook大规模中断;11月17日苹果因内部系统更新故障,iCloud、Apple Pay等服务受影响。随后X上传出Gmail也宕机,源头或为Downdetector:美东17日中午收到超2800条故障报告,多涉及邮件接收。但该平台数据由用户众包提交,仅反映报告情况,不足以证实Gmail发生大

    来源 AI 产业速递
  8. 谷歌签下50兆瓦超高温地热购电协议,Quaise供AI数据中心用电

    财联社11月18日讯(编辑 李莹)AI数据中心用电需求激增之际,谷歌把目光投向尚处早期的超高温地热技术,与地热公司Quaise签订50兆瓦电力的协议。这笔交易为这项技术带来了首个商业客户,但谷歌也坦言,超高温地热的成本目前仍然较高。据媒体当地时间周二报道,美国地热初创公司Quaise当日宣布,谷歌已与其签署购电协议,将

    来源 腾讯网
  9. Voyage Labs完成1200万美元融资:只做旅行,垂直AI代理能否站住脚

    当Muse、Gemini等通用助手把旅行规划当作演示场景时,由Google Maps前员工创办的Voyage Labs选择另一条路:只做旅行。这家初创公司完成1200万美元融资,试图用专业化AI代理在通用模型的夹缝中建立护城河。本文拆解其产品逻辑、行业背景与垂直AI代理的商业化难题。

    来源 AI 科技快讯
  10. 达信:AI助黑客找漏洞,10月网络安全事件翻倍

    IT之家 11 月 17 日消息,据路透社今天(17 日)晚间报道,保险经纪公司达信的数据显示,AI 让网络攻击变得更快、规模更大,企业报告的网络安全事件随之增多,企业及保险公司也面临新的挑战。 达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑

    来源 AI 行业观察
  11. 谷歌更新Gemini隐私控制:聊天记录可保留,不用于AI训练

    IT之家 11 月 18 日消息,谷歌昨日发布公告,宣布更新 Gemini 应用程序的控制选项,允许用户自行决定是否将 Gemini 聊天记录用于 AI 模型训练。谷歌表示,新增的设置选项允许用户在保留 Gemini 聊天记录的同时,选择不将聊天记录用于生成式 AI 模型训练。用户仍然可以调整聊天记录的保存期限,并手动

    来源 腾讯网
  12. 谷歌地图Ask Maps升级:AI可代打电话订位,还能规划自驾路线

    谷歌于2026年11月16日宣布对其基于Gemini技术的 Google Maps 聊天机器人 Ask Maps 进行重大功能更新。该工具现在不仅能够查找美容、宠物护理、汽车和房屋维修等各类预约服务,还能直接致电当地商家完成预订,并在显示可用时段前自动收集必要信息。同时,用户还可借助该功能查找已保存

    来源 AI 开发者社区
  13. 谷歌Gemini Tasks扩大开放:AI可代打电话、登录网站并下单

    谷歌宣布扩大Gemini Tasks的访问权限,该功能可协调通话、代用户登录网站甚至完成购物。这标志着AI助手从信息查询向任务执行迈出关键一步,但也引发隐私与安全担忧。本文详解Gemini Tasks的功能、行业竞争背景及未来影响。

    来源 AI 科技快讯
  14. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  15. 前谷歌苹果高管造弹药:AI帮他们规划十亿美元生意

    前谷歌与苹果校友查德·斯蒂尔伯格和安迪·贝恩斯,把经营软件公司和设计iPhone的经验带进致命弹药制造,并借助AI规划出一条十亿美元级的武器生意路径。他们的转型折射出硅谷人才与资本加速涌入国防科技的最新浪潮,也再次点燃关于技术伦理、军工创新与监管边界的争论。

    来源 AI 科技快讯
  16. 巨头持续加码!AI眼镜概念爆发

    11月17日,A股AI眼镜板块再度异动拉升,光学标的集体走强。永新光学、瀛通通讯涨停,波长光电、茂莱光学、海信视像等产业链个股同步跟涨。 消息面上,三星近日宣布将与谷歌合作推出全系列智能眼镜,产品融合了三星的移动工程技术,内置Gemini人工智能系统,并由Gentle Monster、Warby Parker等时尚眼镜

    来源 腾讯网
  17. ElevenLabs收购Kotoba:语音AI巨头进军日本,交易2026年四季度完成

    全球语音人工智能领域迎来了一起备受瞩目的行业整合。知名语音 AI 企业 ElevenLabs 于近日正式宣布,已成功收购日本领先的语音 AI 实验室 Kotoba。通过此次强强联手,双方将共同加速 AI 智能体与语音交互界面在全球第四大经济体的深度落地与普及。 突破语言文化壁垒:打造适应本土化深层语

    来源 AI 开发者社区
  18. 一年卖了5000万,第一批明星AI产品还是下线了

    11月9日,腾讯元器停服。对一个做公众号的运营者来说,最直接的变化是,自己搭的自动回复机器人不回消息了。元器是腾讯2024年5月推出的零代码智能体平台,用户不用写代码,就能把公众号、知识库和插件拼成一个机器人。 更早之前的10月底,字节扣子发布《扣子企业版下线公告》:11月30日起,企业标准版、企业旗舰版暂停接受新客户

    来源 AI 行业观察
  19. 网易智企发布双向AI安全架构,Agent越权风险怎么治?

    “当AI从“回答问题”走向“执行任务”,安全治理的边界也必须同步延伸。“数据安全”、“内容审核”曾是企业讨论AI风险时最常见的关键词。但当AI开始读取内部资料、调用外部工具、连接业务系统,甚至按目标完成一连串任务,问题已不只是模型会不会说错话,而是它会不会做错事。11月3日,在2026年世界互联网大会“互联网之光”博览

    来源 腾讯网
  20. ElevenLabs收购日本Kotoba:语音AI智能体加速落地日本

    全球语音AI领域现重要整合:ElevenLabs宣布收购日本领先语音AI实验室Kotoba。双方将强强联手,加速AI智能体与语音交互界面在全球第四大经济体日本的落地普及。此次合作意在突破语言文化壁垒,打造适应本土化深层语境的语音AI,应对地域色彩、复杂方言等交流差异,推动语音技术更自然融入当地市场。

    来源 AI 产业速递
  21. 爱尔兰叫停X用AI抓数据训练Grok,马斯克旗下平台已确认暂停

    人工智能大模型在数据采集与合规层面的监管压力正在持续加码。爱尔兰数据保护委员会(DPC)近日公开证实,已正式勒令社交媒体巨头 X(原 Twitter)暂停将 AI 智能体采集的第三方数据用于训练其 Grok AI 系统。 监管出手:从自主抓取到紧急叫停的前后脉络 据了解,这场监管风波的核心源于 X

    来源 AI 开发者社区
  22. Exa年化收入破1亿美元,Vercel收购Traces,Agent基建竞争升温

    2026年末的AI圈不再只盯着模型参数,而是转向了更务实的基础设施。Exa凭借Agent搜索需求实现年化收入1亿美元,Vercel收购Traces试图定义新的软件原语,Google Cloud则指出算力瓶颈已转移至数据I/O。与此同时,国内大厂开始主动限制模型的攻击能力,Claude Code团队公开了高比例AI生成代

    来源 AI 应用前沿
  23. Voyage Labs融资1200万美元,专做旅行AI助手

    当Muse、Gemini等通用助手把旅行规划当作演示场景时,由Google Maps前员工创办的Voyage Labs选择另一条路:只做旅行。这家初创公司完成1200万美元融资,试图用专业化AI代理在通用模型的夹缝中建立护城河。本文拆解其产品逻辑、行业背景与垂直AI代理的商业化难题。

    来源 AI 行业观察
  24. Gemini 4 Hydrogen一小时开发机械臂:Antigravity插件降门槛

    2026年11月中旬,AI领域迎来几项关键进展。Google发布Gemini 4 Hydrogen模型及Antigravity插件,宣称能将机械臂从草图到真机部署压缩至一小时。Cognition推出Devin Bots,支持多Agent协作处理QA与开发任务。此外,Gemini Tasks向多国用户免费开放,Verce

    来源 AI 应用前沿
  25. 谷歌Gemini Tasks大扩张:AI帮你打电话、购物、登录网站

    谷歌宣布扩大Gemini Tasks的访问权限,该功能可协调通话、代用户登录网站甚至完成购物。这标志着AI助手从信息查询向任务执行迈出关键一步,但也引发隐私与安全担忧。本文详解Gemini Tasks的功能、行业竞争背景及未来影响。

    来源 AI 行业观察
向下滚动自动加载更多