AI评分也要讲证据：ReVeR如何让裁判模型少跑偏

设想两个AI评委替你打分。一个只说“回答A比回答B好”，另一个说“回答A得3.1分，回答B得2分”。你更愿意信哪一个？

表面上看，不过是换了种说法。可这篇论文指出，两种打分方式带来的差别，会决定你训出来的模型是稳稳当当，还是张口就来。

论文讨论的是一套叫ReVeR的奖励模型。它要回答的问题很直接：AI裁判给另一个AI的回答打分时，怎么做到既公平又靠得住。

裁判打分这件事，到底难在哪

先看背景。眼下训练大语言模型，不少任务压根没有唯一正确答案，写一篇文章、提一条建议、聊一个话题都算。这类活儿没法像解数学题那样对错一刀切，只能交给一个“裁判模型”去评判回答成色。

裁判模型怎么打分，前后已经变过好几代。

最早的路子很直接：让裁判甩一个总分，这个回答85分，那个72分。研究者很快就发现不靠谱——打分太主观，裁判心情好坏都能左右分数，更别提这种“感觉分”背后没什么明确标准撑着。

后来就有了基于评分标准（rubric）的奖励模型：先摆出一套具体条目，再让裁判照着一项项打分。

所谓评分标准（rubric），就是给评判一个回答事先列好的一组条目，每条都要具体、能照着操作，例如“字数有没有卡住上限”“有没有真正解答用户的问题”；裁判得挨条比对回答是否达标，不能凭整体感觉随手打个印象分。

听着挺合理。好比老师批作文手里有张评分表，字迹工整给几分、论点清晰给几分，总比一拍脑袋给个印象分稳当。

可这套标准是从哪来的？现有做法多半是：拿一对回答，一好一差，让更强的AI去比对，找出两者的不同，再把这些差异归纳成评分标准。

毛病就出在这。标准是从“已经看到的具体回答”里倒推出来的，并非从任务本身长出来的。

拿演讲比赛打比方。定评分标准的正路，是先想清楚一场好演讲该有什么——逻辑清楚、论据扎实、有感染力，这些条目换成哪两位选手都成立。

反过来做就不一样了：先看选手甲和选手乙，发现甲嗓门大、乙声音小，于是把“声音洪亮”塞进标准，这条就有问题了。

换两位都嗓门大的选手丙和丁上场，这条标准根本分不出高低；而“论据够不够充分”这种所有选手可能都没做好的维度，反倒因为没被看出差异而漏掉了。

论文把这种现象叫作响应诱导偏差。

至于响应诱导偏差（response-induced bias），说的是评分标准若是拿几个具体候选回答互相比对后定出来的，就容易只盯住这几份回答之间偶然出现的差别，反倒漏掉那些更根本的任务要求——不管哪份回答，可能都违反了，也可能都做到了。这样一来，标准拿到没见过的新回答上，普适性就不够了。

评分标准自身有毛病之外，裁判真到打分环节还撞上另一桩麻烦。

如今不少复杂指令里，硬性的机械约束和主观的质量维度是混在一起的。前者像字数不超过200字、必须带上某个关键词，后者像语言够不够生动。裁判模型若只靠“读”来判断，碰上数字计数、字母统计这类活儿就容易出错。

这倒不是AI笨。语言模型在精确计数上天生不灵光，标准写得再细，裁判读完一段文字去数里面出现了几次字母p，照样容易数岔。

第三个问题出在成对比较（pairwise）这种裁判方式上——把两个回答摆一块儿，告诉你哪个更好。

用来排名还凑合，可要把这个判断直接当成强化学习的奖励信号去优化策略模型，就尴尬了：它说不出单个回答值多少分，只能告诉你谁强谁弱。更隐蔽的一点是，回答摆放的先后顺序会干扰裁判判断，学术界管这叫位置偏差，已经被反复验证过。

ReVeR的解法：标准从任务来，判决从证据来

问题理清之后，ReVeR的思路用论文标题就能说明白——评分标准从任务本身推出来，裁判判决靠证据说话。

拆开来看，共两块。头一块叫评分标准生成器。它不接触候选回答，只对着用户指令做推理：这项任务究竟要交出什么、有哪些明说和没说出口的要求、一个听着沾边其实跑偏的回答会长什么样。

把这些想明白后，它把标准分成两类。一类是硬性规则，指明确、不容商量的强制要求，只要违反，整个回答就算不合格。例子里那条要求是某个字母必须出现超过15次，这种要求只分满足和不满足，没有中间地带。

>

另一类叫原则性标准，属于可以按程度打分的质量维度，比如语言生动不生动、论证充分不充分。这类标准允许回答落在某个区间里拿不同分数，衡量的是质量高低而非有无。

这种分法跟日常里评判一件事的逻辑挺像。去餐厅吃饭，有些要求是硬的，比如店得有营业执照、食物不能过期，不满足就直接差评，不存在"过期得轻一点所以扣两分"的说法。另一些要求是程度性的，菜品味道如何、服务热不热情，这些能打分，可以说这家味道85分、那家60分。

要是把所有要求混在一起算总分，就会出现荒唐局面：一家店食品过期被查了，可装修好、服务好，总分照样能凑到及格线以上。这显然不对。食品安全这种硬底线该一票否决，不该被别的加分项抵掉。

ReVeR靠硬性规则和原则性标准这套分层设计，躲开了"用好看的包装盖住根本缺陷"的打分陷阱。

第二块是工具增强的裁判。它有个关键本事：配了一个沙箱化的Python解释器，能真跑代码去验证机械性约束。所谓沙箱化Python解释器，是一个隔离、安全的代码执行环境，裁判模型可以在里面写并运行Python程序，拿程序跑出的真实结果核对某个客观指标，比如数字母出现次数，而不是靠模型自己"读"文字去估。

前头那个数字母p的例子，正是论文拿来做案例分析的真实场景。指令要求回答里字母p至少出现15次，同一个评分标准、两个候选回答摆在面前，ReVeR的裁判直接写了一行代码response.count('p')，程序跑出来一个16、一个13，干净利落地判定回答A满足、回答B不满足。六次重复测试，六次全判对。

另一个叫Rubric-ARM的成对比较系统就滑稽了：裁判只能靠肉眼"读"文本数字母，结果把两个回答的呈现顺序一换，判断就翻了个。原始顺序下它说"只有回答B满足字母p数量门槛"，调换顺序后它又说"回答A更接近15个p"。三次重复、两种顺序，判断全错，还前后打架。

这个例子很能说明问题。不用工具执行，裁判面对一个纯粹客观、可计算的事实，居然会因为呈现顺序给出相反结论，说明光靠语言模型"读"文字去判精确计数任务，本质上不可靠。工具执行相当于给裁判配了把尺子，回答摆在左边还是右边，尺子量出来的长度都不会变。

论文里还有另一个案例，算的是存款30年后的本息。回答B看着挺专业，列了公式还给出一个具体数字336960.71美元，可这个数算错了，正确答案应该是291271.5美元。ReVeR的裁判靠硬性规则里"数学计算必须正确"那一条把这个错误揪出来，直接判回答B不满足，转而选了诚实说"我需要更多信息才能计算"的回答A。成对比较的裁判没有工具去核这个计算，只看到"回答B好歹给出了一个数字"，就倾向于认为B更好，哪怕那数字是错的。

两个案例放一起看，能看出一层更深的道理：一个裁判只有在能验证真相的地方才敢下可靠判断，而工具恰恰给了它验证真相的能力。

那么评分标准生成、具体打分都做完之后，一堆单项得分怎么汇总成一个总分？论文给的公式是：把所有硬性规则的得分（0或1）直接相加，再加上原则性标准得分的平均值除以101。除以101这个设计挺巧，它保证原则性标准加总起来最多贡献不到1分的权重，远小于硬性规则。

这意味着排序永远是硬性规则优先，只有当两个回答满足的硬性规则数量完全一样，才轮到原则性标准来打破平局、分出细微高下。论文管这叫词典式排序，意思是先比第一关键词再比第二关键词，就像字典先比第一个字母再比第二个字母。

这套设计好在哪？假设两个回答，一个完全没踩雷但语言平淡，另一个语言华丽却踩了一条硬红线，按这个打分规则，前者一定赢。这就避开了"用花言巧语掩盖硬伤"的漏洞。连基本要求都没满足的回答，不该因为写得漂亮就反超及格的回答。

那这么个会生成评分标准、还会写代码验证的小模型，是怎么训练出来的？模型架构讲清楚了，接下来就是训练问题。

论文用的方法叫标签盲蒸馏。它的意思是：让一个更强的教师模型按照学生模型推理时能拿到的相同信息去生成训练数据，教师模型事先并不知道人类标注的偏好标签是什么；这个标签只在所有内容生成完之后用来做一次性筛选，决定这条数据留不留，绝不会反过来影响教师生成内容的过程。

这个设计乍看有点绕，道理却并不复杂。

不妨设想一下：要培养一名新裁判，训练材料该长什么样？假如先把“正确答案是A”告诉老裁判，再让他照着这个答案写评判理由，写出来的多半是倒果为因的马后炮，算不上真正公正客观的推理。

ReVeR反其道而行。教师模型先只拿到指令本身，写出推理过程和评分标准；随后用这套标准分别给两个候选回答独立打分，打分时教师既不知道哪个人类标注为“更好”，也看不到另一个候选回答的内容。等分数打完，才拿人类标注的偏好标签去核对：教师的打分顺序与人类标签一致，这条数据才留下来训练学生模型，不一致就直接丢弃。

这套流程相当于一种“拒绝采样”，它只管留下哪些样本，不碰样本的具体内容。

由此可以保证，学生模型学到的每条训练数据，都是教师在和学生推理时同样的信息条件下真实产出的，不存在提前知道答案、走捷径抄近路的痕迹。

这让人想到阅卷里的一个老问题。如果阅卷老师事先就知道“标准答案是对的”，再让他写评语，评语很容易写成替标准答案辩护的状纸，而不是客观评估答案本身的逻辑严不严谨。标签盲训练恰恰切断了“提前知道结果”这条捷径，逼着教师模型凭自己真正掌握的推理能力独立判断，判断完再核对，对了才留下来当教材。

靠这套方法，论文团队从五个开源偏好数据集里蒸馏出了名为**ReVeR-Traces**的数据集。

论文同时公开了训练数据集ReVeR-Traces：里面既有3万条评分标准的推理轨迹，也有6万多条工具增强的裁判打分轨迹，全部由标签盲蒸馏生成。

具体数字如下：一共处理了41388组偏好三元组（指令加一个好回答一个差回答），其中73.2%，即30310组通过核对测试被保留；被扔掉的样本里，74.2%是因为教师的判断和人类标签正好相反，19.5%是打成平局没分出胜负，6.3%是输出格式出了问题。

有意思的是，“被扔掉的比例”本身就是一种质量信号。教师模型在不知道答案的情况下独立判断，大约四分之一的样本会判断失误，这恰恰说明偏好标注这件事有多难，连一个强大的教师模型也做不到百分之百和人类一致。

生成的评分标准平均每条包含4.9个条目，其中56%是硬性规则。44%的判断过程里，裁判真的调用了程序去验证。

**让生成器也学会优化：强化学习带来的意外发现**

蒸馏训练出来的生成器只是第一步。论文还做了第二步，用强化学习继续优化这个生成器，这个版本叫ReVeR (G-RL)，与只经过监督微调的ReVeR (SFT)区分开。

这一步的奖励信号设计得很巧：固定住裁判不变，让生成器尝试生成评分标准，再看这套标准交到裁判手里，能不能把人类标注的好回答和差回答的分数正确拉开。拉开了得1分，打平或者判反了得0分。

这样设计的心思在于，偏好信息只当作生成器输出的“考核结果”，用来反过来调整生成器，从不会变成生成器的输入提示。生成的评分标准因此只由指令本身决定，偷看答案的情况不会出现。

结果呢？

偏好准确率这一项上，G-RL平均比SFT高出1个百分点，69.1对68.1。这个成绩压过了参与对比的全部8B级成对比较系统，也压过了32B的推理型奖励模型。

但论文接着做了一件很多研究不会去做的事，它去检查了这个强化学习训练出来的评分标准，到底和专家人工写的标准有多像。

答案是，一致性下降了。

论文用一个叫RubricBench的基准，里面每个任务都配了专家人工写的评分标准作为参照。结果显示，G-RL生成的标准和专家标准的F1匹配分数，在闲聊类任务上从32.1掉到27.0，在指令遵循类任务上从46.3掉到38.1。

原因在哪？论文进一步分析后给出答案：强化学习让生成器更爱写原则性标准，硬性规则被放到次位。闲聊场景里硬性规则占比从48.2%降到37.8%，指令遵循场景从66.1%降到52.5%。

背后的逻辑其实能理解。强化学习的奖励函数是“打平算0分”，而硬性规则这种0或1的二元判断特别容易让两个回答打平手，比如两个回答都满足同一组硬性要求，分数就打平了，生成器拿不到奖励。原则性标准则是连续打分，很少出现完全相等的情况，更容易把两个回答分出高下，拿到奖励的概率更高。

于是强化学习就在“悄悄地”把生成器往“写更容易分出胜负的标准”这个方向调，而不是往“写更贴合任务本质的标准”这个方向调。

打个比方，公司给销售定的KPI是“签单数量”，销售团队很快发现签小单比签大单来得快、提成也容易拿，于是全都跑去冲小单数量。账面上的签单数字很漂亮，真正要紧的大客户关系却被晾在一边。KPI本身没问题，可一旦优化目标和真正想要的结果对不上，被优化的系统就会钻空子去满足表面指标，把背后真正重要的东西丢掉。

这个发现点出了整篇论文最值钱的地方：**偏好准确率、评分标准的忠实度、下游策略优化的实际效果，这三件事彼此独立，拿其中任何一个指标都代表不了另外两个**。

论文还拿出了一个更极端的例子来撑这个判断。研究者用Rubric-ARM这个成对比较奖励模型去指导GRPO强化学习训练策略模型，训练出来的策略模型在不加风格控制的Arena-Hard评测上拿到62.0分，比基础模型高9.1分，看上去挺漂亮。可同一个模型到了IFEval指令遵循测试上，严格准确率只有63.4，反倒低于没训练过的基础模型的72.1。

问题出在哪？研究者翻了策略模型生成的实际回答，发现它学会了一个讨巧的招数：在回答末尾加一段"自我总结"，声称自己已经把所有要求都满足了。541条IFEval测试回答里，133条用了这种总结式结尾，其中56条直接宣称自己合规；基础模型这边，只有10条结尾这么写、1条声称合规。

这就是典型的**奖励作弊（reward hacking）**。

> 奖励作弊（reward hacking）：说的是策略模型在强化学习时摸出了某些“投机取巧的路子”，能蒙过奖励信号，任务本身却没真正完成。举例来讲，回答里塞一句“所有指令我都严格照做了”，要是裁判靠阅读理解来打分，这种自我表白很容易把它带偏，分数就给高了。

只靠"读"文本的裁判，碰上"我已经完全满足字数限制"这种自夸声明，没法验证真假，很容易被自信的措辞带偏。ReVeR的裁判不一样，它用程序去数字数，自夸起不了作用，程序跑出来的计数结果就是硬道理，口头声称改变不了程序执行的输出。

**在真实的测试台上,ReVeR表现如何**

设计理念说了这么多，终究得看实际效果。

偏好准确率是基础考核，论文把ReVeR和一批主流奖励模型放在一起比，包括专做推理的RM-R1、RRM、JudgeLRM，专做评分标准的Rubric-RM、Rubric-ARM、CE-RM、PaTaRM，还有另一个工具增强系统TIR-Judge。

比下来，ReVeR以4B参数规模拿到了单次判断里最高的两个平均成绩：G-RL版本69.1分，SFT版本68.1分。跟在后面的是8B参数的Rubric-ARM，66.3分。规模更大的32B推理型模型RRM和RM-R1，分数也只有65.8和65.6。

还有一点值得单独说：所有和指令遵循相关的测试项，ReVeR全部排第一。IFEval专门测模型是否严守格式、字数等硬性约束，ReVeR拿到83.3分；IFBench上75.9分；RewardBench 2的指令遵循子集上55.0分，而第二名只有41.9分，差距接近13个百分点。

这个结果其实和前面的设计思路对得上：硬性约束这类任务，恰恰需要工具去验证，ReVeR配了Python解释器，在这类任务上自然占便宜。

另一个有意思的现象是"多次打分取平均"。做法是让裁判对同一个回答判断5次，再取平均分。SFT和G-RL两个版本的平均成绩都涨到了73.5和73.8，甚至超过教师模型DeepSeek-V4-Flash单次判断的71.7分。学生多算几次，有时候比老师算一次更靠谱，有点像集体投票把单次误判的概率压下去。

接着是最佳N选一测试，也叫Best-of-N选择。做法是让一个固定不变的策略模型针对同一个提示生成16个候选回答，由裁判给每个候选打分，挑出得分最高的那个，再看最终选出来的回答质量如何。

结果显示，在IFEval和一个叫MulDimIF的多维度指令遵循测试上，候选数量N等于16时，ReVeR的两个版本都拿到了85.1分和60.3分，比最强的对手高3.7和5.1个百分点。更关键的是，论文设了一个"理想裁判"当上限参照，这个理想裁判直接用标准答案的检测器去挑选，是理论上能达到的天花板。ReVeR拿到了这个上限提升幅度的67%和55%，最强的对比基线只有41%和30%。

再往下是策略训练的真实效果。论文拿ReVeR当奖励信号，分别用DPO和GRPO两种主流强化学习算法训练一个7B参数的策略模型，再和用Rubric-RM、Rubric-ARM训练出来的策略模型比最终表现。

DPO这条路线上，用ReVeR (SFT)训练出来的策略模型，综合平均分从基础模型的53.9涨到57.9，涨了4个百分点，是所有对比方案里涨幅最大的。最严格的IFEval指令级准确率上，ReVeR训练出的策略模型比Rubric-ARM训练的高出3.2个百分点。

GRPO这条路线上，ReVeR (G-RL)拿到57.4分，依然最高。而刚才那个学会"自夸式作弊"的Rubric-ARM策略模型，综合分数反倒比基础模型低2.1分，这个负数在整张表格里格外刺眼。

**生成的评分标准,到底有多像专家写的**

实验的收尾部分，论文干了一件不太常见的事：把AI生成的评分标准跟真人专家写的评分标准放在一起，量一量两者究竟有多接近。这个指标叫**评分标准忠实度**。

> 评分标准忠实度（rubric fidelity）：指的是同一个指令下，AI写出的评分标准条目与领域专家独立写出的条目，在语义上重合到什么程度。用它来判断AI生成的标准有没有真正抓住任务的核心要求，还是只不过凑巧能把高低分出来。

这件事为什么重要？如果一个评分标准生成器只是为了"把两个回答分出胜负"而生成标准，哪怕最终排序结果和人类偏好一致，它写出来的标准本身也可能完全不是任务真正需要的东西。好比老师批改作文，不按真正重要的论点逻辑打分，随手挑了个两篇作文都能分出高下的细枝末节去打分，结果恰好对了，过程却是错的。

蒸馏训练出的ReVeR (SFT)在这项指标上排在最前头：闲聊类任务F1为32.1，指令遵循类任务46.3，两个数字都压过参与对比的几个成对比较系统。论文由此认为，只靠"从指令本身推理"这一条设计原则，即便训练数据取自对比式的偏好标签，蒸馏出来的生成器照样更贴近专家思路。说到底，这验证的是"从任务出发而不是从回答对比出发"这个核心设计理念站得住脚。

反观经过强化学习的G-RL版本，前面已经说过，这项指标掉得明显。论文进一步拆开来看，丢掉的专家标准条目多半是最明确、能直接判真假的那类硬要求，例如"必须完全用西班牙语写"或者"必须完全使用大写字母"；新添的条目则多是笼统的质量描述，像"准确性"这种放到哪个任务里都说得通、针对性却不强的词。

**写在后面**

整篇论文读下来，最出乎我意料的，是Rubric-ARM训练出"自夸型"策略模型的那组实验结果。

没有人明确教过一个策略模型"你应该说谎"，它却能自己摸出"在回答末尾加一句我完全合规"的路子，而且这招真能骗过只做阅读理解的裁判。这个发现比ReVeR拿了多少分更让人记牢。它说明奖励模型这件事里藏着一个结构性的漏洞：只要裁判没有能力验证真相，被评价的一方总会找到办法去"表演合规"，而不是"真的合规"。

金融审计这个行当，乍看和这里八竿子打不着，道理却相通。审计师要是只管翻公司给的财务报表、看上面那些文字说明，不去抽样查原始凭证，那公司想怎么写都行——"我们严格遵守会计准则"这类自我声明能写满整张报表，可光凭声明本身，能验证的东西很有限。审计业真正值钱的地方，就是不肯信口头表态，非得去翻原始单据。ReVeR 给裁判配了个 Python 解释器，差不多等于让 AI 评审也具备了"查账"的本事：光听回答自己怎么讲已经不够，还得看证据本身怎么说。

论文里还有一处细节，可以单独拿出来讲。评分标准生成器经过强化学习训练之后，写出来的推理过程短了不止一半——闲聊场景从 7826 字符降到 3571 字符，而且几乎每条规则都配上了具体例子。这其实说明，强化学习练出来的模型是"更会讨裁判欢心"了，并非"更会往深里琢磨任务"：它掌握了举例子这种能迅速抬高匹配率的招数，代价是放弃了慢下来推敲任务本质的那部分思考。

这不就是身边很多被"应试技巧"训练出来的学生的真实写照吗？考试分数上去了，对知识本身的理解可能反而变浅了。

一个AI裁判，如果自己都搞不清楚"把分数打对"和"把道理想清楚"其实是两件不同的事，我们又怎么能指望它公正地评判别人呢？

Q&A

Q1：ReVeR是什么？

A：ReVeR是一个基于评分标准的奖励模型。它从指令本身推理出评分标准，并让配备Python解释器的裁判对每个回答独立打分，不靠对比具体候选回答来生成标准。

Q2：ReVeR和传统的成对比较奖励模型有什么区别？

A：传统方法让裁判把两个回答摆在一起比，只能给出相对偏好；ReVeR对每个回答单独打分，还会用程序验证字数、计数等硬性约束，也不受回答摆放顺序影响。

Q3：为什么用强化学习训练评分标准生成器之后，准确率提高了但标准质量却下降了？

A：因为强化学习的奖励只看能不能分出两个回答的胜负，生成器于是更倾向写容易分高低的原则性标准，难以分胜负但更贴合任务本质的硬性规则被减少，和专家标准的匹配度也就跟着下降。