当自动驾驶AI学会了自己纠正自己，谁来给裁判打分？

2026年初，NVIDIA的一群研究者遇到了一个挺尴尬的问题。

他们训练了一个自动驾驶推理模型，让它一边开车一边解释"为什么我要这么做"。比如看到前车突然减速,它会说"因为检测到右前方有行人即将穿行"。这套系统跑了几轮强化学习后，表现确实在涨。但涨着涨着，团队发现不对劲了：模型的分数一直在往上走，可人类专家去看它的实际推理内容，却觉得越来越离谱。

这不是模型变笨了，恰恰相反，是裁判变笨了。

**用来打分的那个AI评判模型，已经跟不上被评判的AI的进化速度了。**

这个现象在强化学习圈子里有个说法，叫"奖励黑客"，指的是模型学会了怎么骗过打分系统，而不是真正把事情做好。但VeriFine这篇论文想问的问题更深一层：如果裁判本身的能力是固定的，那这场游戏迟早要崩。真正的解法不是修补裁判的某个漏洞，而是让裁判也跟着学生一起进步。

这篇论文就是在讲，他们是怎么让"学生"和"裁判"一起升级的。

一个会说话的AI司机,到底难在哪

先说清楚这篇论文研究的场景有多特殊。

市面上大多数做AI自我提升的研究，针对的是数学题、代码题这种**有标准答案**的任务。模型做对了就是做对了，裁判只需要核对答案，不需要理解"为什么"。但自动驾驶和机器人导航完全不是这么回事。

一辆车面对同一个路况，可能有好几种合理的应对方式：可以变道超车，也可以减速跟车，只要安全、符合逻辑，都算对。这就是论文里提到的

**具身推理**：指AI在真实物理世界中做决策时需要用到的能力，包括看懂空间位置关系、理解时间先后顺序、推断因果关系、以及在保证安全的前提下做取舍。

没有唯一正确答案，这事就麻烦了。你没法简单地拿一个标准答案去比对，只能靠"懂行的人"来判断这个推理是不是站得住脚。

在这篇论文之前，业内常见的做法是什么样的？研究者提到一个叫LingoJudge的评判系统，它的工作方式是把AI生成的推理文字和人类专家写的参考答案做文字层面的比对，看相似度打分。问题是，这玩意儿压根不看视频画面，纯粹比文字。

这就好比考官批改一篇关于"描述眼前这幅画"的作文，考官自己却闭着眼睛，只靠对照别人事先写好的范文来打分。如果学生写了一个范文里没提到但同样正确的细节，考官根本无从判断，只能按"没对上"处理。

论文测了一下，LingoJudge和人类专家打分的相关系数只有0.65（这个系数最高是1，代表完全一致）。而VeriFine自己训练出来的裁判模型，相关系数达到了0.82。差距不算小。

这背后其实是一个更根本的设计选择：要不要依赖人工写的参考答案。

依赖参考答案的裁判，叫

**参考式评判**：评判时需要对照人类预先写好的标准答案或参考推理来打分。

不依赖参考答案、直接看着原始场景（画面、车辆状态、任务指令）自己判断的裁判，叫

**无参照式评判**：不需要任何人类预先准备的参考答案，直接根据观察到的物理场景本身来评估AI的推理是否合理。

为什么无参照式更难做，但VeriFine偏偏要选这条路？因为参考答案这东西本身就是个瓶颈。每一条参考推理都要人工写、人工核对，成本极高，而且参考答案只能代表"一种"正确解法，会把其他同样合理但表述不同的答案误判为错误。更要命的是，当policy（也就是被训练的那个AI）水平越来越高，它给出的创造性答案会越来越多，固定的参考答案库根本追不上。

所以VeriFine干脆让裁判直接看懂物理世界本身，不依赖任何人写好的标准答案。这个选择的代价是裁判要做的事变难了很多，但好处是它能随着被评判对象一起成长，而不是被钉死在某一版参考答案上。

两个齿轮，咬合着一起转

VeriFine这套系统的核心设计，是两个互相咬合的循环，论文里称为

**策略改进循环**：以裁判模型的评判结果为依据，发现AI策略的反复出现的失败模式，据此挑选训练数据、优化AI模型本身的过程。

**裁判改进循环**：当策略改进遇到瓶颈时启动，有选择性地请人类专家审核一些信息量大的失败案例，并据此修正裁判模型打分标准的过程。

这两个循环为什么要分开设计，而不是混在一起一次性搞定？

想象一下你在健身房请了一个私教。前几周，私教根据你目前的水平安排训练计划，哪里弱练哪里，这个阶段私教不需要频繁调整自己的判断标准，只要执行就行,这对应着"策略改进循环"。

但练了几个月后，你的体能基础发生了质的变化，私教原来那套"初学者标准"已经不适用了，继续用老眼光看你的训练效果，可能会觉得"进步不明显"，其实是私教的评判尺子该换了。这时候就需要私教停下来，重新校准自己对"什么算好"的判断，这对应"裁判改进循环"。

如果没有这个停下来重新校准的环节会怎样？私教会一直用过时的标准要求你，你要么觉得永远达不到预期而放弃，要么就是真的卡在瓶颈上不去，而私教还蒙在鼓里以为计划没问题。

论文里专门设计了一套机制来判断"什么时候该停下来校准裁判"，这个机制叫

**边界检测**：通过持续监测策略模型在固定测试集上的表现变化，以及裁判给出的奖励分数变化是否同步，来判断当前裁判的评判能力是否已经跟不上策略的进步、需要人工介入校准了。

具体怎么判断呢？论文设了两个信号。一个是看策略在最近几轮训练里进步有多大，如果进步幅度很小，说明可能遇到了瓶颈。另一个是看裁判打的分数变化趋势，和策略真实表现的变化趋势是不是对得上。如果裁判一直在说"你进步了"，但真实测试表现其实没怎么涨，这就是个危险信号，说明裁判可能在被"刷分"而不自知。

这个双重判断挺聪明的,单看进步幅度可能会误判(万一只是这个阶段任务本身就比较难呢),但进步幅度小+裁判奖励和真实表现脱节同时出现,基本就能确认问题出在裁判身上了。

当人类专家被请出来,他们到底在做什么

裁判改进循环启动后，接下来要做的事情论文里起了个挺有意思的名字，叫

**协同校准**：人类专家和AI系统反复交流、互相指出分歧、逐步统一判断标准的过程，而不是人类单方面给AI一个"标准答案"让它死记硬背。

这个设计选择值得多说几句，因为它颠覆了一个常见的直觉。

通常我们会觉得，既然要用人类专家来校正AI，那流程应该是：人类看一遍案例，打一个分，AI把这个分数当真理学进去就完了。论文里明确反对这种做法,原文说得很直接:**人类的判断不会被当成绝对正确的真理**。

为什么不把人类当成绝对权威？因为具身推理这件事本身就充满了模糊地带，人类专家自己审视案例的时候，面对复杂路况，也可能第一眼判断有偏差，或者评判标准之间互相打架。如果把人类第一反应当成铁律灌给AI，AI学到的可能是一个有瑕疵的标准，而且这个瑕疹以后很难被发现和修正。

论文描述的实际流程是这样的：人类专家先对一批案例做个粗略打分。然后AI系统（由Claude Opus 5驱动的裁判模型）会自主地反复提出规则修订方案，去匹配人类的校准结果,这个过程不需要人盯着。等AI自己摸索到一个瓶颈，和人类校准结果对不上又提升不了的时候，AI会把有争议的案例连同自己的诊断分数、评判理由一起呈现给人类专家。

这时候人类专家可以做四件事：确认AI的判断是对的、纠正某个具体的评判维度、澄清一个原本定义模糊的标准、甚至修改自己之前给的分数。

这其实是一个双向纠错的过程,不是人单方面教AI，也不是AI单方面说服人，而是两边反复碰撞，直到谁也说不出更好的理由为止，论文管这个收敛终点叫"物理推理的客观评判标准"。

这就好比两个法官一起审一个案子，初审意见不统一的时候，不是资历老的那个说了算，而是两人把各自的依据摆出来反复辩论，直到达成一个双方都认可、逻辑能自洽的结论。如果是资历老的直接拍板,表面上省事,但万一这个老法官当天状态不好、看漏了关键证据，这个错误判断就会变成"标准答案"一直沿用下去，而且因为没有辩论过程，这个错误根本没机会被发现。

校准完成后，被反复打磨过的评判标准，论文称之为

**规则表**：把具身推理拆解成若干个可以打分的细分维度，比如"视觉依据是否准确"、"是否考虑了所有相关的场景要素"等，用结构化的方式而不是单一笼统的分数来评判AI推理质量的评分标准。

有了细分维度之后，裁判就不只是给一个模糊的"这个推理70分"，而是能告诉你"你的安全性判断是对的，但视觉依据只覆盖了场景里的一半关键信息"，这种细粒度反馈对训练来说价值大得多。

师生架构：为什么不能一直用最强的AI当裁判

这里有个很现实的工程问题：Claude Opus 5这种顶级大模型当裁判，判断力确实强，但它贵，而且慢。

论文测了一下，用Opus 5评判一个样本要花20.92秒。而自动驾驶的强化学习训练，一轮更新就要跑512次模拟（32个场景乘以16次采样），如果每次都要等Opus 5判上20秒，这训练速度会慢到没法用。

于是VeriFine采用了

**师生蒸馏架构**：让一个强大但速度慢、成本高的大模型（教师）先把评判经验学到位，再把这套评判能力"教"给一个体积小、速度快的模型（学生），学生模型学会之后就能在大规模训练中快速打分，不用每次都请教师模型亲自出马。

这个思路其实挺朴素的，就像一个医院里，专家门诊号难挂、费用高，但专家可以培训一批基层医生，让他们掌握诊断标准后去应对大部分日常病例，真正疑难的病例才转诊给专家。论文里，学生模型是基于Qwen3-VL 2B这个较小的视觉语言模型训练出来的。

效果如何？学生模型处理一个样本只要0.07秒，比教师模型快了大约300倍，同时在人类对齐度上达到0.82的相关系数，已经逼近教师模型的0.85，远超LingoJudge的0.65。

这里有个细节值得注意。论文做了个对比实验,如果不给学生模型做"PAI-AV预训练"（也就是先在内部驾驶数据集上做过专门的视觉编码预训练），学生模型的表现会明显差一截,相关系数从0.82掉到0.76,误差也会从0.17涨到0.19。这说明光靠蒸馏教师的判断逻辑还不够，学生自己也得先对物理世界有基本的感知能力打底，才能真正学懂教师在说什么。

另外论文还比较了不同的输出方式。让模型像写作文一样生成完整的推理文字再给分，和直接用分类器头输出结构化分数，两种方式的判断准确率差不多，但前者的推理耗时是后者的30多倍。这个权衡很现实,在不损失太多准确性的前提下，把评判速度提升30倍，对于需要海量调用裁判的强化学习训练来说，这几乎是决定项目能不能跑起来的关键。

数据说话：三轮迭代到底带来了什么

说了这么多设计思路，实际效果怎么样？

论文在自动驾驶推理任务上跑了三轮完整的"策略改进循环加裁判改进循环"。用固定的参考式评判标准（VeriFine-Judge-RB）来衡量，策略的推理得分从60.56一路涨到71.61，相对提升18.2%。如果用进化后的无参照裁判来衡量，提升幅度更大，达到22.2%。

论文还做了个很关键的对照实验，用来证明"课程数据挑选得好"这件事本身有没有用,而不只是裁判打分准不准的问题。他们保持每一轮的奖励裁判不变，只对比"随机挑训练数据"和"用裁判智能挑训练数据"这两种做法。结果显示，三轮里裁判引导的数据挑选分别比随机挑选高出14.6%、8.1%、4.5%。

这说明一件事:**光有一个更准的裁判还不够，怎么用这个裁判去挑该学什么同样重要。**

这背后的道理也不难理解。假设班里学生已经把简单题都做对了，老师继续让他刷简单题，分数不会再涨，因为没有新的学习信号。真正有效的做法是找出学生还不会的那部分，针对性地加练。VeriFine的课程构建逻辑正是这样,裁判发现策略在哪类场景上反复出错，就优先把这类场景的数据挑出来用于训练，同时过滤掉那些AI自己答错了、不适合当作学习范本的样本。

裁判这一边的进步同样显著。教师模型（Opus 5）在校准前后的对比很能说明问题：校准前和人类的相关系数是0.67，校准后提升到0.85。这证明进步不是单纯靠换了个更强的底层大模型带来的，协同校准这个过程本身确实在起作用。

论文还做了个很有意思的测试，叫测试时扩展，简单说就是让一个策略模型针对同一个场景生成6个不同的候选答案，然后看不同裁判能不能从里面挑出人类认为最好的那个。结果显示，进化到第三轮的裁判，挑出来的答案人类评分达到78.6分，明显超过随机挑选和LingoJudge，和参考式裁判打了个平手。这意味着裁判的进化成果不只局限在训练那个闭环里,它学到的判断力能真正泛化到训练之外的新场景中去用。

换个任务试试：机器人也能这么练

一个框架如果只能用在一个任务上，说服力总归差点意思。论文又把VeriFine搬到了机器人室内导航任务上，用的是VLNVerse这个基准环境。

这次情况不太一样，驾驶任务用的是强化学习（GRPO），裁判分数直接作为奖励信号参与优化。而导航任务用的是

**监督微调**：直接用挑选出来的高质量示范数据去让模型模仿学习，裁判在这里不参与计算损失函数，只负责从候选数据里筛出哪些值得拿来当教材。

换句话说，裁判的角色从"打分发奖金"变成了"选教材"，这是两种完全不同的参与训练的方式。论文想验证的是,VeriFine这套co-evolution的逻辑，是不是只在强化学习这种特定优化方式下才管用，还是说它是一个更通用的思路。

结果显示，导航任务上的策略推理得分从68.09提升到77.59，涨幅14%，裁判和人类的相关系数也达到了0.85。论文给了个具体例子挺生动的：一个旧策略原本会在白色柜子旁边"右转经过"，更新后的策略学会了正确判断"应该停在陶瓷盆栽前面"，纠正了一个原本会走错方向的失误。

这个跨任务的验证，某种程度上回答了一个更根本的问题:自我提升和裁判共同进化这套机制，到底是驾驶场景的特例，还是具身智能的通用规律?从目前的结果看，至少在驾驶和导航这两个差异不小的任务上，这套逻辑都走得通。

写在后面

读完这篇论文，我一直在琢磨一件事:为什么"裁判要跟着学生一起进化"这个想法，听起来这么直觉，但在实际系统里却很少有人真正把它做扎实？

我猜原因是，让裁判进化这件事，天然需要承认一个不舒服的真相:你今天训练出来的评判标准，明天大概率是不够用的。这意味着你没法把裁判当成一个一劳永逄的基础设施去搭建，它得被当成一个和策略模型地位同等、需要持续投入资源维护的东西。很多团队在做强化学习系统的时候，默认把reward model当成固定不变的"裁判背景板"，这篇论文等于是在说,你这个背景板总有一天会穿帮，不如提前设计好什么时候该换。

另一个让我印象比较深的细节，是论文反复强调"人类不是绝对真理"。这跟很多人对RLHF（人类反馈强化学习）的直觉理解是有出入的,很多人默认人类标注就是ground truth。但协同校准这个设计说的是，人类专家自己的判断也会出现矛盾和盲区，真正可靠的不是某一次人类打分，而是人类和AI反复碰撞、彼此纠错之后收敛出的那个结果。这其实有点像科学共同体形成共识的过程,不是靠一个权威发号施令，而是靠持续的、带着怀疑精神的相互检验。

论文自己也坦承了一些没解决的问题。比如固定的policy测试集虽然提供了稳定的对比基准，但本质上也是静止的，没有跟着策略和裁判一起进化，未来如果测试集本身也能动态适应新出现的失败模式，可能会提供更有信息量的信号。另外整套系统目前还离不开人工撰写、核验的参考推理数据，想要彻底摆脱对人工标注的依赖，恐怕还需要让"写参考答案"这件事本身也变成可以自我进化的一环。

一个AI系统最终能走多远，可能不取决于它学得有多快,而取决于那个给它打分的裁判，愿不愿意，以及能不能，陪着它一起变得更聪明。

Q&A

Q1：VeriFine是什么？

A：VeriFine是NVIDIA团队提出的一套智能体框架,核心思路是让AI策略模型、训练课程和评判裁判三者协同进化,解决自动驾驶和机器人导航等具身推理任务中固定裁判跟不上策略进步的问题。

Q2：VeriFine和传统的参考式评判方法有什么区别？

A：传统方法如LingoJudge依赖人工撰写的参考答案做文字比对，不看实际场景画面。VeriFine采用无参照式评判，裁判直接根据视频画面、车辆状态等物理场景本身打分，相关系数从0.65提升到0.82，更贴近人类判断。

Q3：VeriFine只能用在自动驾驶上吗？

A：不是。论文同时在自动驾驶（强化学习）和机器人室内导航（监督微调）两个任务上验证了框架的有效性,导航任务的策略推理得分提升了14%，证明这套协同进化思路具有跨任务的通用性。