AI裁判为何误判正确答案:耶鲁等团队发现验证环节的参照依赖
先说一个实验结果,听起来有点荒谬。研究者拿一个正确的车辆编号,让四个AI裁判去判断它对不对。这个编号明明是对的,来源也查得到,就藏在前面某次工具调用返回的结果里。结果呢,四个裁判全部判它错。**不是编号错了,是裁判没看到编号的来源,于是就认定它是错的。**这件事听起来有点反常识。我们一般觉得,AI模型只要够聪明、够..
先看一个实验结果,乍一听有点离谱。
研究者把一个正确的车辆编号交给四个AI裁判,让它们判断这个编号对不对。编号本身没错,来源也能查到,就藏在前面某次
**编号是对的,问题出在裁判没看见它的出处,于是直接把它判成了错的。**
这事有点反常识。通常会觉得,AI模型只要够聪明、参数够大,自己就能推出正确答案,用不着把答案喂到嘴边。可这篇论文做的一连串实验说明:至少在检查
论文题为《Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments》,出自The Fin AI、耶鲁大学和卡迪夫大学的研究团队。他们盯住的是一个越来越要紧、却容易被忽略的问题:当
AI智能体
工具调用
要掂量这篇论文的分量,先得弄清楚为什么"检查
可这些裁判真靠得住吗?
有个简单的事实一直被忽略:正确答案的来路有很多种。
不妨先想想,填一个表单参数时,那个正确值是从哪来的?
有时是用户直接说出来的,文字就摆在那里,照抄即可。有时得从前面某一步操作返回的结果里翻,比如先搜出一个车辆列表,再从列表里挑出某辆车的编号去查详情,这个编号的"出处"要往前翻好几步才找得到。有时压根没人提过这个参数,但功能说明书里写了默认值,不填就按默认值走。还有的时候,要把"周三"和"2024-03-13"这类不同格式的表达对上,或者靠推理得出一个值,而不是照抄。
研究者把这些不同的"来路"称为**衍生路径**。
所谓衍生路径*,指的是一个参数值从哪里来、经由什么方式得到。论文把它分成五种:在对话里直接可见、藏在历史记录里但被截断、需要格式转换才能对上、是功能说明书里的默认值、或者完全查不到来源。
五种路径中,只有第一种"直接可见"是裁判能轻松核实的。其余四种,裁判手上的材料要么缺失,要么被砍掉,要么本来就不该指望能在文字里找到现成答案。
论文的核心发现由此而来。研究者测了七个不同的裁判模型,其中包括两个专门打分的"系统一"模型(CLM和Jev),以及五个开源大语言模型(从Qwen3的4B版本到27B版本,还有Llama和Mistral)。他们统一衡量一件事:在三个基准测试上,裁判接受一个正确答案的比例,在"直接可见"路径与另外四种路径之间相差多少。
系统一模型
结果出人意料。在两个多步骤的基准测试上(
更让人摸不着头脑的是第三个基准测试
结果正好反过来。在这个"什么都没藏起来"的测试里,**默认值路径的差距反而最大,落在14到50个百分点之间**。
这个反转很关键。它说明问题并不只是"信息被藏起来了"这么简单,背后还有更深的东西:信息明明就在眼前,只要没有一句话明确说"这就是正确答案",裁判照样倾向于不信它。
原因何在:裁判是在"抄答案",不是在"推理"
研究者没有停在现象层面,他们又设计了几个巧妙的对照实验,想弄清背后的原因究竟是什么。
第一个实验很直接。他们造了一批数据,把一个本该出现在用户请求里的正确值,挪到一次新增的
他们做了两个版本:一个版本里,正确答案在返回结果中排第二位,裁判看得见;另一个版本里,正确答案排在最后,超出了裁判实际读取的文字范围,等于被截断看不到了。而第一个干扰项在两个版本里都保持可见。
假如裁判真在"推理",那么正确答案看不到时,它起码该表现出"不确定",分数在模棱两可的区间徘徊。可实验结果是,**四个裁判的判断准确率从90%以上直接跌到40%到49%之间,跌破了瞎猜的水平**。
更麻烦的是,单独拿那个"看得见的干扰项"来比,裁判给它的分数竟然高过给"看不见的正确答案"的分数。换句话说,裁判并没有陷入犹豫,而是主动信了眼前那个错误的值,只因为它看得见。
打个比方,你去问路,路口立着一块牌子,上面写着“此路不通”。可牌子是旧的,真正该走的口子藏在拐角后头,压根没立牌。多数裁判式判断不会跑到现场去看,它们只认牌子。牌子上写错了,只要摆在明处,它们照信;真正的路没立牌,它们照样不信。这跟粗心没关系,是整套判断机制本身的运作方式:天生依赖“看得见的标注”,不会主动核实事实。
第二个实验换了个问法:把完整历史记录全交给裁判,不截断也不省略,问题能不能解决?
答案是解决了一部分。历史记录里能查到来源的那类参数值,裁判表现明显好转,准确率提升11到26个百分点。另一类参数值就不行了——整个历史记录里都找不到匹配文字,比如得靠推理才能得出的值,历史记录给得再多也没用,有的裁判表现反而下降。
这说明
第三个实验直接冲着“裁判依赖明确标注”这个猜想去的。研究者挑出默认值,先让裁判单纯重复一遍,接受率最多只提升6个百分点,帮助有限。换成一整段话,写清“这个值从哪来、为什么该用它”,效果立刻跳到73到88个百分点。
这组对比说明一件事:裁判不缺信息,缺的是一句明确指向结论的话。信息摆在那儿,和有人把信息“翻译”成结论,是两码事。
第四个实验走得更远,也更让人不安。研究者往裁判输入里塞进一些从历史记录摘出的文字片段,这些片段天然带着被测试的那个值,不管值本身对错。结果,在59个本该判错的参数值上,加入这些“看似佐证”的片段后,裁判给的平均分普遍上升14到39个百分点,部分裁判干脆把这些错误值判成了正确。
相当于给法官看一份文件,文件里恰好提到嫌疑人的名字,哪怕这提及跟案情毫无关系,法官也容易觉得这份文件“支持”有罪。裁判不是在验证逻辑关系,它做的是文字匹配,匹配上了就倾向相信。
DEREF:换个模型先把参考答案写出来
问题弄清楚了,解法也就顺了:裁判既然依赖明确的参考答案,那就主动给它一份。
研究者把这个方法叫**DEREF**,全称Derived Reference,意思是“推导出来的参考”。
DEREF的做法是让一个独立模型充当推导者,先把所有历史记录完整读一遍,但不看候选答案,然后写出它认为每个参数该是什么值、这个值从哪来。这份“参考答案”再被加进裁判的输入材料,供裁判参考。
设计里有个关键细节:**写参考答案的模型,全程看不到正在被检验的那个候选值**。
为什么非得这样?同一个模型要是既看候选答案又写参考答案,很容易被候选答案带偏,不知不觉把候选答案当成参考答案写出来。那样裁判就是在跟自己的回声对话,验证作用全没了。
研究者专门做了对照实验。他们让推导模型“看见”候选值再写参考答案,这个变体叫——效果不如蒙眼写。好比阅卷,出题老师先瞄一眼学生答案再写标准答案,很容易被牵着走,觉得“这答案看着也挺有道理”。只有蒙着眼写,标准答案才独立、客观,不被某个学生的答案污染。这条原则一松,参考答案的公信力就塌了,裁判参考它也没意义。
DEREF的具体流程:先用一个推导模型(论文里用的是Qwen3.8-27B)完整读一遍历史记录和功能说明书,针对当前要检查的功能,给每个参数写明“该是什么值、从哪来”;历史记录里压根定不了的值,它也要明确说出来,这句话本身就成了参考答案的一部分。这份参考答案插进裁判的输入材料,位置在历史记录之后、功能说明书之前。裁判本身一点不动,只是多读了这一段,然后照常打分。
回到开头那个车辆编号的例子。原本四个裁判全判它错,因为编号的来源被截断了。加入DEREF生成的参考答案后,参考答案写明“这个编号应该是657356933,来源是第二步Search_Car_Rentals返回结果里的search_results字段”,**四个裁判全部转为接受这个值**,分数从0.40左右跳到0.75以上,有的裁判甚至从0.02跳到0.98。
效果有多好:三个基准测试全线提升
一个案例不够有说服力,研究者在三个基准测试、四个主力裁判模型上做了系统对比,一共12组组合。
| 评测组合 | Plain原始输入 |
|---|---|---|---|---|
| CLM / FCRB | 72.51 | 75.17 | 83.26 | **89.59** |
| CLM / CFB | 63.41 | 69.62 | 81.78 | **85.55** |
| CLM / Jev / FCRB | 90.83 | 91.00 | 92.23 | **93.30** |
| Jev / CFB | 75.01 | 80.74 | 87.15 | **88.73** |
| Qwen3-8B / FCRB | 78.79 | 77.71 | 87.06 | **89.48** |
| Qwen3-8B / CFB | 66.79 | 64.80 | 81.75 | **83.13** |
| Qwen3.8-27B / FCRB | 91.95 | 91.94 | 93.70 | **93.39** |
| Qwen3.8-27B / CFB | 78.92 | 88.08 | 93.54 | **95.09** |
| Qwen3.8-27B / FinTrace | 89.31 | 90.09 | 92.53 | **92.25** |
| 表格中的数值是ProvenanceGuard
| RevisEval
| 从这张表能看出,12组组合里DEREF有10组都压过了此前最强的方法。
| 有意思的是另外两组反例:Qwen3.8-27B在FCRB和FinTrace上,RevisEval反而略微领先(差距0.3个百分点左右,但不显著)。这两个例外恰好都落在同一个裁判模型上,研究者据此提示,方法优劣可能跟裁判模型本身的能力水平也有关系,一个足够强的裁判在某些简单场景下,靠“修订版候选答案”这种间接提示也能表现不错。但只要换到更复杂的多步骤场景(比如CFB),DEREF的优势就会立刻拉开。
| 研究者另做了一组直观对比:直接把完整历史记录交给裁判,却不提供参考答案,会是什么结果?在CFB测试上,三个受测裁判平均比DEREF低将近12个百分点——光增加上下文,效果远不如给一份明确答案。
| 这个对比得出的结论有些反直觉。**人们通常觉得信息越全越好,可实验表明,信息数量多并不等于信息能用**。让模型读一万字原始材料,比不上给它一句总结好的结论。人读书也是这个道理:整本参考书丢过来,不如有人替你划好重点、写好摘要,哪怕书里信息量确实更大。
| 研究者还试过让裁判模型“多想一会儿”,可结果显示,DEREF之所以有效,关键并不在“模型想得更久”,而在于那份独立写出的参考答案本身带着裁判自己推不出来的信息。
| 更狠的测试:把参考答案的内容偷偷换掉
| 此前的实验说明“给参考答案有用”,接下来的实验则指向一件更令人不安的事:**裁判几乎无条件信任参考答案,就算答案是错的也一样**。
| 研究者挑出一批DEREF已经答对的参数,做了一个很简单的改动:把参考答案中那个正确值换成同一参数的另一个错误值,其余文字一字未动。
| 在CFB和FCRB两个测试上,四个裁判的判断全都随参考答案而变。本该被接受的正确值,接受率下滑15到57个百分点;本该被拒绝的错误值,接受率反倒上涨20到58个百分点。整体判断准确率也从92到99分跌到42到78分之间。
| 论文里给了一个具体例子:用户要求“设置一个下午5点的闹钟”,正确结果应是24小时制的17:00。原始参考答案正确写出17:00,四个裁判都接受了正确值、拒绝了错误的15:00。研究者把参考答案中的17:00悄悄改成15:00,其他措辞原封不动,**四个裁判的判断全部反转**,转为接受15:00、拒绝17:00。
这个实验让人想到心理学里的“
警示很直接。假设DEREF生成的那份推导本身就有错,或者有人刻意往工具返回内容里掺入误导文字、诱使推导者写出一份错误参考答案,那么下游裁判就会被一起带偏,而且是被整整齐齐地带偏。问题不在某个裁判偶尔失手,而是整条判断链被上游一个环节的失误系统性地拉歪了。
论文因此讲得很明白:DEREF该充当辅助审核手段,不能拿来顶替人工审核。碰上影响大的操作,像真实转账或预订,人工复核这道关还是要留着,或者改用不单纯依靠裁判打分的独立校验办法。研究者还建议,每次生成的参考答案都该和打分结果一并存档,出了问题时,审核者好歹能顺着这条线索查清裁判当时为何那样判。
写在后面
通读这篇论文,让我意外的并非“裁判模型会出错”——机器犯错早算不上新闻。真正让我停下来想了很久的,是“参考答案藏起来”与“摆在明处”那组对照暴露出的东西:我们以为的“AI在理解内容、在推理”,很多时候恐怕只是“AI在做文字匹配”。这两件事看着相似,实则能力完全不同。
一个真在理解内容的系统,遇到信息缺失本该显出迟疑、把置信度降下来。可论文里的裁判模型偏偏相反:信息一缺,它们反倒倒向那个“看得见”的错误答案,态度坚决,毫不含糊。这种“伪自信”比单纯的“不知道”危险得多,因为它披着确定性的外衣。
还有个细节值得单独拎出来讲。研究者统计后发现,把裁判对多个参数的打分汇总成“整次调用对不对”时,若一次正确的工具调用里既有“一看就对”的参数、又有“藏在历史记录里但也对”的参数,那个被藏起来的正确参数往往正是整次调用中得分最低的一项,且这一概率明显高于随机水平。换句话说,裁判否掉整次调用的“罪魁祸首”,常常恰是那个本应完全正确、只是没被明确标注的参数。落到实际部署上,若不加任何干预,系统可能系统性地卡掉一批完全正确的操作,原因仅仅是它们的正确性“不够显眼”。
论文也留了些没填上的坑。比如在FinTrace这个金融场景测试中,对那些“完全没有任何来源可查”的参数值(论文称作
若要用一句话概括这篇论文给我的触动,大概是:我们总爱用“模型够不够聪明”来评判AI系统,它却提醒我们,有时更该问的是“模型有没有拿到足够清楚的参考坐标”。一个足够聪明却缺了坐标的系统照样会迷路,而且迷路的方式,可能比一个笨却老实的系统更难察觉。
Q&A
Q1:DEREF指什么,它处理的是哪类问题?
A:DEREF是论文给出的一种方法:让一个独立模型在看不到候选答案的前提下通读完整历史记录,写出每个参数应取什么值、依据何来,再把这份参考答案交给裁判模型打分。它针对的是裁判模型对缺少明确来源标注的正确答案接受率偏低这一毛病,在三个基准测试、四个裁判模型上都把判断准确率明显拉高了。
Q2:明明正确的工具调用参数,AI裁判为何会拒掉?
A:论文的发现是,AI裁判做判断时更看输入材料里有没有明确标出答案的参考文字,而非真正独立推理。一旦正确答案的来源被截断、属于默认值或得靠推理得出,裁判的接受率就大幅下滑,多步骤测试里差距达22到36个百分点,这一现象被称为衍生缺口。
Q3:给AI裁判参考答案,会不会被滥用或导致出错?
A:会。研究显示,若把参考答案中的正确值偷偷替换成错误值,所有受测裁判的判断都会随之反转,正确值的接受率下滑15到57个百分点。论文据此建议,DEREF应作为辅助审核工具,高风险操作仍需人工复核,并建议把每次生成的参考答案留存下来以便事后追溯。