AI裁判为何误判正确答案:耶鲁等团队发现验证环节的参照依赖

资讯 腾讯网 作者:腾讯网 全文 6591 字 · 约 17 分钟读完 分类学术研究

先说一个实验结果,听起来有点荒谬。研究者拿一个正确的车辆编号,让四个AI裁判去判断它对不对。这个编号明明是对的,来源也查得到,就藏在前面某次工具调用返回的结果里。结果呢,四个裁判全部判它错。**不是编号错了,是裁判没看到编号的来源,于是就认定它是错的。**这件事听起来有点反常识。我们一般觉得,AI模型只要够聪明、够..

所属频道 前沿研究

先看一个实验结果,乍一听有点离谱。

研究者把一个正确的车辆编号交给四个AI裁判,让它们判断这个编号对不对。编号本身没错,来源也能查到,就藏在前面某次

**编号是对的,问题出在裁判没看见它的出处,于是直接把它判成了错的。**

这事有点反常识。通常会觉得,AI模型只要够聪明、参数够大,自己就能推出正确答案,用不着把答案喂到嘴边。可这篇论文做的一连串实验说明:至少在检查

论文题为《Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments》,出自The Fin AI、耶鲁大学和卡迪夫大学的研究团队。他们盯住的是一个越来越要紧、却容易被忽略的问题:当

AI智能体

工具调用

要掂量这篇论文的分量,先得弄清楚为什么"检查

可这些裁判真靠得住吗?

有个简单的事实一直被忽略:正确答案的来路有很多种。

不妨先想想,填一个表单参数时,那个正确值是从哪来的?

有时是用户直接说出来的,文字就摆在那里,照抄即可。有时得从前面某一步操作返回的结果里翻,比如先搜出一个车辆列表,再从列表里挑出某辆车的编号去查详情,这个编号的"出处"要往前翻好几步才找得到。有时压根没人提过这个参数,但功能说明书里写了默认值,不填就按默认值走。还有的时候,要把"周三"和"2024-03-13"这类不同格式的表达对上,或者靠推理得出一个值,而不是照抄。

研究者把这些不同的"来路"称为**衍生路径**。

所谓衍生路径*,指的是一个参数值从哪里来、经由什么方式得到。论文把它分成五种:在对话里直接可见、藏在历史记录里但被截断、需要格式转换才能对上、是功能说明书里的默认值、或者完全查不到来源。

五种路径中,只有第一种"直接可见"是裁判能轻松核实的。其余四种,裁判手上的材料要么缺失,要么被砍掉,要么本来就不该指望能在文字里找到现成答案。

论文的核心发现由此而来。研究者测了七个不同的裁判模型,其中包括两个专门打分的"系统一"模型(CLM和Jev),以及五个开源大语言模型(从Qwen3的4B版本到27B版本,还有Llama和Mistral)。他们统一衡量一件事:在三个基准测试上,裁判接受一个正确答案的比例,在"直接可见"路径与另外四种路径之间相差多少。

系统一模型

结果出人意料。在两个多步骤的基准测试上(

更让人摸不着头脑的是第三个基准测试

结果正好反过来。在这个"什么都没藏起来"的测试里,**默认值路径的差距反而最大,落在14到50个百分点之间**。

这个反转很关键。它说明问题并不只是"信息被藏起来了"这么简单,背后还有更深的东西:信息明明就在眼前,只要没有一句话明确说"这就是正确答案",裁判照样倾向于不信它。

原因何在:裁判是在"抄答案",不是在"推理"

研究者没有停在现象层面,他们又设计了几个巧妙的对照实验,想弄清背后的原因究竟是什么。

第一个实验很直接。他们造了一批数据,把一个本该出现在用户请求里的正确值,挪到一次新增的

他们做了两个版本:一个版本里,正确答案在返回结果中排第二位,裁判看得见;另一个版本里,正确答案排在最后,超出了裁判实际读取的文字范围,等于被截断看不到了。而第一个干扰项在两个版本里都保持可见。

假如裁判真在"推理",那么正确答案看不到时,它起码该表现出"不确定",分数在模棱两可的区间徘徊。可实验结果是,**四个裁判的判断准确率从90%以上直接跌到40%到49%之间,跌破了瞎猜的水平**。

更麻烦的是,单独拿那个"看得见的干扰项"来比,裁判给它的分数竟然高过给"看不见的正确答案"的分数。换句话说,裁判并没有陷入犹豫,而是主动信了眼前那个错误的值,只因为它看得见。

打个比方,你去问路,路口立着一块牌子,上面写着“此路不通”。可牌子是旧的,真正该走的口子藏在拐角后头,压根没立牌。多数裁判式判断不会跑到现场去看,它们只认牌子。牌子上写错了,只要摆在明处,它们照信;真正的路没立牌,它们照样不信。这跟粗心没关系,是整套判断机制本身的运作方式:天生依赖“看得见的标注”,不会主动核实事实。

第二个实验换了个问法:把完整历史记录全交给裁判,不截断也不省略,问题能不能解决?

答案是解决了一部分。历史记录里能查到来源的那类参数值,裁判表现明显好转,准确率提升11到26个百分点。另一类参数值就不行了——整个历史记录里都找不到匹配文字,比如得靠推理才能得出的值,历史记录给得再多也没用,有的裁判表现反而下降。

这说明

第三个实验直接冲着“裁判依赖明确标注”这个猜想去的。研究者挑出默认值,先让裁判单纯重复一遍,接受率最多只提升6个百分点,帮助有限。换成一整段话,写清“这个值从哪来、为什么该用它”,效果立刻跳到73到88个百分点。

这组对比说明一件事:裁判不缺信息,缺的是一句明确指向结论的话。信息摆在那儿,和有人把信息“翻译”成结论,是两码事。

第四个实验走得更远,也更让人不安。研究者往裁判输入里塞进一些从历史记录摘出的文字片段,这些片段天然带着被测试的那个值,不管值本身对错。结果,在59个本该判错的参数值上,加入这些“看似佐证”的片段后,裁判给的平均分普遍上升14到39个百分点,部分裁判干脆把这些错误值判成了正确。

相当于给法官看一份文件,文件里恰好提到嫌疑人的名字,哪怕这提及跟案情毫无关系,法官也容易觉得这份文件“支持”有罪。裁判不是在验证逻辑关系,它做的是文字匹配,匹配上了就倾向相信。

DEREF:换个模型先把参考答案写出来

问题弄清楚了,解法也就顺了:裁判既然依赖明确的参考答案,那就主动给它一份。

研究者把这个方法叫**DEREF**,全称Derived Reference,意思是“推导出来的参考”。

DEREF的做法是让一个独立模型充当推导者,先把所有历史记录完整读一遍,但不看候选答案,然后写出它认为每个参数该是什么值、这个值从哪来。这份“参考答案”再被加进裁判的输入材料,供裁判参考。

设计里有个关键细节:**写参考答案的模型,全程看不到正在被检验的那个候选值**。

为什么非得这样?同一个模型要是既看候选答案又写参考答案,很容易被候选答案带偏,不知不觉把候选答案当成参考答案写出来。那样裁判就是在跟自己的回声对话,验证作用全没了。

研究者专门做了对照实验。他们让推导模型“看见”候选值再写参考答案,这个变体叫——效果不如蒙眼写。好比阅卷,出题老师先瞄一眼学生答案再写标准答案,很容易被牵着走,觉得“这答案看着也挺有道理”。只有蒙着眼写,标准答案才独立、客观,不被某个学生的答案污染。这条原则一松,参考答案的公信力就塌了,裁判参考它也没意义。

DEREF的具体流程:先用一个推导模型(论文里用的是Qwen3.8-27B)完整读一遍历史记录和功能说明书,针对当前要检查的功能,给每个参数写明“该是什么值、从哪来”;历史记录里压根定不了的值,它也要明确说出来,这句话本身就成了参考答案的一部分。这份参考答案插进裁判的输入材料,位置在历史记录之后、功能说明书之前。裁判本身一点不动,只是多读了这一段,然后照常打分。

回到开头那个车辆编号的例子。原本四个裁判全判它错,因为编号的来源被截断了。加入DEREF生成的参考答案后,参考答案写明“这个编号应该是657356933,来源是第二步Search_Car_Rentals返回结果里的search_results字段”,**四个裁判全部转为接受这个值**,分数从0.40左右跳到0.75以上,有的裁判甚至从0.02跳到0.98。

效果有多好:三个基准测试全线提升

一个案例不够有说服力,研究者在三个基准测试、四个主力裁判模型上做了系统对比,一共12组组合。

| 评测组合 | Plain原始输入 |

|---|---|---|---|---|

| CLM / FCRB | 72.51 | 75.17 | 83.26 | **89.59** |

| CLM / CFB | 63.41 | 69.62 | 81.78 | **85.55** |

| CLM / Jev / FCRB | 90.83 | 91.00 | 92.23 | **93.30** |

| Jev / CFB | 75.01 | 80.74 | 87.15 | **88.73** |

| Qwen3-8B / FCRB | 78.79 | 77.71 | 87.06 | **89.48** |

| Qwen3-8B / CFB | 66.79 | 64.80 | 81.75 | **83.13** |

| Qwen3.8-27B / FCRB | 91.95 | 91.94 | 93.70 | **93.39** |

| Qwen3.8-27B / CFB | 78.92 | 88.08 | 93.54 | **95.09** |

| Qwen3.8-27B / FinTrace | 89.31 | 90.09 | 92.53 | **92.25** |

| 表格中的数值是ProvenanceGuard

| RevisEval

| 从这张表能看出,12组组合里DEREF有10组都压过了此前最强的方法。

| 有意思的是另外两组反例:Qwen3.8-27B在FCRB和FinTrace上,RevisEval反而略微领先(差距0.3个百分点左右,但不显著)。这两个例外恰好都落在同一个裁判模型上,研究者据此提示,方法优劣可能跟裁判模型本身的能力水平也有关系,一个足够强的裁判在某些简单场景下,靠“修订版候选答案”这种间接提示也能表现不错。但只要换到更复杂的多步骤场景(比如CFB),DEREF的优势就会立刻拉开。

| 研究者另做了一组直观对比:直接把完整历史记录交给裁判,却不提供参考答案,会是什么结果?在CFB测试上,三个受测裁判平均比DEREF低将近12个百分点——光增加上下文,效果远不如给一份明确答案。

| 这个对比得出的结论有些反直觉。**人们通常觉得信息越全越好,可实验表明,信息数量多并不等于信息能用**。让模型读一万字原始材料,比不上给它一句总结好的结论。人读书也是这个道理:整本参考书丢过来,不如有人替你划好重点、写好摘要,哪怕书里信息量确实更大。

| 研究者还试过让裁判模型“多想一会儿”,可结果显示,DEREF之所以有效,关键并不在“模型想得更久”,而在于那份独立写出的参考答案本身带着裁判自己推不出来的信息。

| 更狠的测试:把参考答案的内容偷偷换掉

| 此前的实验说明“给参考答案有用”,接下来的实验则指向一件更令人不安的事:**裁判几乎无条件信任参考答案,就算答案是错的也一样**。

| 研究者挑出一批DEREF已经答对的参数,做了一个很简单的改动:把参考答案中那个正确值换成同一参数的另一个错误值,其余文字一字未动。

| 在CFB和FCRB两个测试上,四个裁判的判断全都随参考答案而变。本该被接受的正确值,接受率下滑15到57个百分点;本该被拒绝的错误值,接受率反倒上涨20到58个百分点。整体判断准确率也从92到99分跌到42到78分之间。

| 论文里给了一个具体例子:用户要求“设置一个下午5点的闹钟”,正确结果应是24小时制的17:00。原始参考答案正确写出17:00,四个裁判都接受了正确值、拒绝了错误的15:00。研究者把参考答案中的17:00悄悄改成15:00,其他措辞原封不动,**四个裁判的判断全部反转**,转为接受15:00、拒绝17:00。

这个实验让人想到心理学里的“

警示很直接。假设DEREF生成的那份推导本身就有错,或者有人刻意往工具返回内容里掺入误导文字、诱使推导者写出一份错误参考答案,那么下游裁判就会被一起带偏,而且是被整整齐齐地带偏。问题不在某个裁判偶尔失手,而是整条判断链被上游一个环节的失误系统性地拉歪了。

论文因此讲得很明白:DEREF该充当辅助审核手段,不能拿来顶替人工审核。碰上影响大的操作,像真实转账或预订,人工复核这道关还是要留着,或者改用不单纯依靠裁判打分的独立校验办法。研究者还建议,每次生成的参考答案都该和打分结果一并存档,出了问题时,审核者好歹能顺着这条线索查清裁判当时为何那样判。

写在后面

通读这篇论文,让我意外的并非“裁判模型会出错”——机器犯错早算不上新闻。真正让我停下来想了很久的,是“参考答案藏起来”与“摆在明处”那组对照暴露出的东西:我们以为的“AI在理解内容、在推理”,很多时候恐怕只是“AI在做文字匹配”。这两件事看着相似,实则能力完全不同。

一个真在理解内容的系统,遇到信息缺失本该显出迟疑、把置信度降下来。可论文里的裁判模型偏偏相反:信息一缺,它们反倒倒向那个“看得见”的错误答案,态度坚决,毫不含糊。这种“伪自信”比单纯的“不知道”危险得多,因为它披着确定性的外衣。

还有个细节值得单独拎出来讲。研究者统计后发现,把裁判对多个参数的打分汇总成“整次调用对不对”时,若一次正确的工具调用里既有“一看就对”的参数、又有“藏在历史记录里但也对”的参数,那个被藏起来的正确参数往往正是整次调用中得分最低的一项,且这一概率明显高于随机水平。换句话说,裁判否掉整次调用的“罪魁祸首”,常常恰是那个本应完全正确、只是没被明确标注的参数。落到实际部署上,若不加任何干预,系统可能系统性地卡掉一批完全正确的操作,原因仅仅是它们的正确性“不够显眼”。

论文也留了些没填上的坑。比如在FinTrace这个金融场景测试中,对那些“完全没有任何来源可查”的参数值(论文称作

若要用一句话概括这篇论文给我的触动,大概是:我们总爱用“模型够不够聪明”来评判AI系统,它却提醒我们,有时更该问的是“模型有没有拿到足够清楚的参考坐标”。一个足够聪明却缺了坐标的系统照样会迷路,而且迷路的方式,可能比一个笨却老实的系统更难察觉。

Q&A

Q1:DEREF指什么,它处理的是哪类问题?

A:DEREF是论文给出的一种方法:让一个独立模型在看不到候选答案的前提下通读完整历史记录,写出每个参数应取什么值、依据何来,再把这份参考答案交给裁判模型打分。它针对的是裁判模型对缺少明确来源标注的正确答案接受率偏低这一毛病,在三个基准测试、四个裁判模型上都把判断准确率明显拉高了。

Q2:明明正确的工具调用参数,AI裁判为何会拒掉?

A:论文的发现是,AI裁判做判断时更看输入材料里有没有明确标出答案的参考文字,而非真正独立推理。一旦正确答案的来源被截断、属于默认值或得靠推理得出,裁判的接受率就大幅下滑,多步骤测试里差距达22到36个百分点,这一现象被称为衍生缺口。

Q3:给AI裁判参考答案,会不会被滥用或导致出错?

A:会。研究显示,若把参考答案中的正确值偷偷替换成错误值,所有受测裁判的判断都会随之反转,正确值的接受率下滑15到57个百分点。论文据此建议,DEREF应作为辅助审核工具,高风险操作仍需人工复核,并建议把每次生成的参考答案留存下来以便事后追溯。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 南开大学综述:AI做研究,三项决策权在谁手里?

    新智元报道 你让AI自动设计一种新的推理算法:它能读论文、写代码、跑实验,还能根据结果不断修改方案。看起来,整个研究过程已经交给了AI。但如果研究问题由人类提出、允许修改的范围由人类划定、判断成功的标准也由人类设定,那么AI真正掌握了多少研究决策?它是在替人做实验,还是已经开始决定如何做研究?最近,南开大...

    来源 腾讯网
  2. AI读长文档是真理解还是表面匹配:LongR用信息增益给引用打分

    你有没有遇到过这样的情况:让AI帮你从一份几十页的合同里找某条关键条款,它给出的答案看起来头头是道,结果你一核对,发现它根本没找对地方,甚至压根没把合同看完就开始编了?这不是你一个人的经历。2026年初,一篇名为LongR的论文揭示了一个挺扎心的事实:当下的大语言模型在处理长文档时,很多时候靠的不是真正的阅读...

    来源 腾讯网
  3. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  4. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  5. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  6. Anthropic花34亿美元买发电机:AI算力争夺战打到电力端

    据英国《金融时报》11月8日报道,Anthropic在9月下旬与位于德克萨斯州圣安东尼奥的设备供应商OnePWR Solutions完成一笔交易,以34亿美元(约合人民币227亿元)锁定1.7吉瓦重型发电机供货,用于数据中心的电力供给。 更早之前,AI基础设施公司Crusoe于4月向密苏里州ProEnergy订购13台

    来源 AI 行业观察
  7. Deedy Das 榜单:30家百亿美元AI独角兽,中国公司进前十

    11月15日,硅谷老牌风投机构Menlo Ventures合伙人Deedy Das(@deedydas)在社交平台晒出一张全球AI公司估值与营收排行榜。 Menlo Ventures成立于1976年,是硅谷历史最悠久的风险投资机构之一,曾投资Uber、Chime等知名科技公司。近年来,这家机构将AI作为重点投资方向,投

    来源 AI 行业观察
  8. OpenAI解散机器人团队

    据科创板日报援引媒体报道称,OpenAI已解散其独立机器人团队,将团队研究人员重新分配至其他部门。一位OpenAI发言人表示,此举并不意味着公司退出机器人领域,机器人技术仍然是OpenAI长期愿景的核心组成部分。OpenAI原机器人研究团队已被并入公司的核心研究团队,向首席研究官Mark Chen汇报;而应用机器人团队

    来源 腾讯网
  9. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  10. 亚马逊云科技AI硬件黑客松:20支团队11月21日上海路演

    有些技术项目源于具体需求,有些则纯粹出于开发者的好奇心:比如拆开一台旧设备,研究它的工作原理,再赋予它新的功能;或者从一块开发板开始,尝试一种全新的交互方式。 这些尝试未必都有明确的商业价值,但对于喜欢技术的人来说,能把脑海里的想法亲手做出来,本身就很有乐趣。 亚马逊云科技首席开发者布道师 Darko Mesaros

    来源 AI 行业观察
  11. 黄仁勋与英伟达深度绑定:AI行业会否被一家公司拖累?

    TechCrunch文章抛出一个尖锐问题:如果黄仁勋和英伟达遭遇坏消息,是否意味着整个AI行业也将承压?摘要指出,Jensen几乎等同英伟达,而当前AI经济高度依赖英伟达。本文围绕这一判断,分析英伟达在AI算力、资本市场与产业信心中的枢纽角色,并讨论风险集中可能带来的连锁反应。

    来源 AI 科技快讯
  12. 华瑞指数云再融超亿元:用存储给AI推理降本

    AI推理的扩产,是否只能依靠增加GPU?华瑞指数云披露的一项客户联合验证,给出了另一种可能:24张GPU加一个WQS存储节点,实现了与48张GPU方案相当的Token产能。这意味着,改善上下文的保存和调用,可以提高GPU的利用效率,让已有算力承担更多业务,为企业提供了新的算力扩产思路。这一提升算力利用效率的技术新方向,

    来源 腾讯网
  13. OpenAI开放ChatGPT商家功能:AI当导购,零售流量入口生变

    ChatGPT上线新功能作为生成式AI的领头羊,ChatGPT每周约有12亿人使用。过去几年,ChatGPT让很多人习惯了有问题先问AI。现在,它转身又开辟一个新战场。近日,OpenAI宣布测试ChatGPT商家功能。通过验证的商家可以认领自己的主页,提交带价格和库存的商品目录。ChatGPT发布商家测试公告 图源:C

    来源 腾讯网
  14. 前OpenAI研究员克里斯蒂亚诺:AI失控或成在世人群主要死因

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为

    来源 腾讯网
  15. AI写代码快,腾讯云黄辉:生产责任没消失,只是要写进系统默认值

    AI 已经能在几分钟内把一个应用的 Demo 写出来,这件事早就不新鲜了。真正悬而未决的,是这些 Demo 能不能走到生产环境,并且一直活下去。 近日在 DBTalk 数据库 AI 技术沙龙成都站上,腾讯云 PG 数据库技术专家黄辉把这个问题摆上了台面,并给出了自己的判断:AI 缩短的是代码生成的时间,不是生产工程的责

    来源 AI 行业观察
  16. 苹果推研究应用:AI答健康问题,数据将影响Siri走向

    苹果发布一款全新研究应用,探索用户如何借助AI回答日常医疗问题。该应用不以诊断为目的,而是收集真实交互数据,评估AI健康建议的可靠性与用户信任度。此举被视为苹果在健康科技与生成式AI交叉领域的关键布局,研究结果或影响未来Apple Watch、iPhone健康应用及Siri的产品方向,同时也将检验苹果在隐私保

    来源 AI 科技快讯
向下滚动自动加载更多