清华团队造出会拆题的AI裁判:图像生成打分不再只有对错
你有没有遇到过这样的场景:让一个AI判卷子,它只会打勾或打叉,可一张图片明明做对了七成,剩下三成有瑕疵,它却和那种全错的图片给出一模一样的判决。这事儿听起来有点荒唐,但它恰恰是当下AI图像生成领域一个被忽视很久的真问题。**图像生成模型越做越强,但给它们"打分"的裁判却还停留在上个世纪。**这篇来自清华大学、...
让AI去判卷子,它只给勾或叉。一张图七成做对、三成有瑕疵,跟一张全错的图,拿到的判决竟然一模一样。这种场景你碰到过吗?
听着有点离谱。不过这正是AI图像生成领域被忽略许久的一个真问题。
**图像生成模型一路变强,给它们打分的裁判却还停在上个世纪。**
清华大学、高德地图(阿里巴巴旗下)、微见科技和北京大学联合团队写的这篇论文,盯的就是裁判系统的毛病。他们把裁判叫作"视觉验证器",论文的主角则是
生成式视觉验证器
裁判打分,为什么是个大问题
有件事得先讲明白:AI生成的图片,为什么需要请一个"裁判"?
你写一句"一只红色立方体放在蓝色球体上",让AI照此画一张。画完以后,谁来认定它跟描述对不对得上?人工逐张过目显然不现实,于是研究者训练了专门的裁判模型,让它看一眼生成的图和原始文字描述,然后作出判断。
这套裁判系统不光用于打分评测。AI生成图片的过程中,它还反复被用来"纠错",甚至直接充当强化学习的奖励信号,推着生成模型变聪明。说到底,裁判什么水平,被训练的学生就是什么水平。
毛病恰恰出在这。眼下主流的裁判几乎都是
设想你是老师,要批一百篇写"春天"的作文。按
**结果呢,学生没法从分数里看出"我哪里还不行",只知道自己"不及格",却不知道离及格差多远。**
站在出题老师的角度,这套打分系统激励不了学生进步。它只能把最差的筛掉,没法把"还不错"的推到"更好"。论文点出的强化学习核心矛盾正在这里:二元奖励信号太粗,同一批次里质量参差的样本区分不开,训练过程也就变得低效,甚至不稳。
还有更棘手的。研究者发现,这种粗线条的裁判容易"学歪"。只须猜中最后那个"对错",裁判模型就很可能抄近道,凭一些表面视觉线索蒙混过去,而不去真正理解图中物体、属性、空间关系这些复杂组合逻辑。这个现象有专门的名字。
奖励黑客
研究团队看明白了:裁判不能再当只会打勾打叉的机器,得学会"拆题"。
给AI装上一个会拆题的大脑
OmniVerifier-C1
还是拿"红色立方体放在蓝色球体上"举例。这个验证器不会甩出一个笼统的"符合"或"不符合",它先把整句话拆成三个小问题:图里有红色立方体吗?图里有蓝色球体吗?立方体是不是真的搁在球体上面?
三个小问题逐一核实,答案取0或1。再把满足的问题数除以总数,得出0到1之间的连续分数。三个问题对了两个,分数就是三分之二,约等于0.67。
设计听着不复杂,效果却好得出奇。论文做了严格数学证明来支撑它,核心逻辑是:假设一个提示词能无损拆成K个子问题,一张图满足其中z个,那么连续分数与满足数量z严格单调递增。也就是说,只要两张图的真实质量有差别,连续分数一定能把它们排对顺序,排序准确率达到百分之百。
而
说成大白话就是:**二元裁判只分得清"满分"和"非满分",至于"非满分"里谁更接近满分、谁差得更远,它看不出来。**
好比高考只公布"过线"和"未过线"两种结果。没过线的考生,差一分和差一百分,成绩单上长得一模一样。这种信息损失会一路传导到后面的训练环节,因为强化学习里有种叫
GRPO
要练出这样一个既会拆题又能打分的裁判,研究团队搭了一套叫做"
一次采样,拆成多个任务同步训练
研究团队的做法是:拿到一条文字提示和它对应的生成图片后,先看这条提示能拆出几个子问题。假设拆出K个,这组数据就被转成K+1份强化学习训练样本。
第一份样本只练"打连续分数"。验证器同时看完整提示和图片,给出一个全局对齐分数,预测值和真实值差得越小,奖励就越高。剩下K份各管一个子问题:验证器只盯着这一个子问题和图片,判断满足还是不满足,猜对拿满分,猜错没有奖励。
两类样本混着训,就构成了所谓的"解耦"方案——全局打分和局部细粒度判断分开优化,同时又互相支撑。
这里有个设计值得多想一层:直接让模型学打总分不就行了,为什么非要拆出一堆子问题单独训?
论文的实验结果给出了答案。研究团队做了一组对照实验,在
ViVerBench
结果表明,不管二元验证器是只做强化学习,还是先做
差距看着不算大,但论文特意点明:问题不在训练流程,而在监督信号本身。二元标签压掉的信息太多,模型学到的其实是走捷径猜答案,并没有真正理解图片里复杂的语义结构。拆成子问题,等于逼着模型把每个细节都过一遍,这种结构化的推理过程让它在没见过的陌生任务上反而更稳。
这就像两种学习路数:一种靠死记答案,一种把大题拆成小题,逐个吃透再拼回去。前一种应付考试或许还行,题目一换就露怯;后一种练着费劲,拿到的却是最根本的原理,新题来了也接得住。**绕开这种拆分训练,模型多半会在看着像、实则不同的新场景里翻车。**
从画画到"懂规则":验证器在传统任务里的实战表现
验证器练成之后,就该看实战里能不能带来真提升。研究团队先挑最常见的文字生成图像场景测试,用了Stable Diffusion 3.5和FLUX.1-dev两个主流图像生成模型,分别以二元验证器和图分验证器作为强化学习的奖励信号来训练。
结果相当直观。在
GenEval
论文还拿另一个同样输出连续分数的竞品做了对比
但这篇论文真正野心勃勃的地方,其实在后半段。
当AI要"推演世界",裁判标准彻底变了
传统的文字生成图像任务有个特点:同一句话可以对应无数张合理图片。"一只猫坐在沙发上",猫什么颜色、沙发什么款式、光线怎么打,怎么画都算对,没有唯一标准答案。
但研究团队意识到,还有一类任务完全不同:
拿迷宫来说,起点终点固定、墙壁位置固定,"怎么走出去"可能有多条路径,可"迷宫本身长什么样"是唯一确定的。数独也一样,给定初始数字,加上行列宫格不能重复的规则,空格里填什么数字是唯一确定的。
这类任务有个关键条件:往往存在一张"标准答案图"可供参考。研究团队抓住这一点,提出了两种截然不同的裁判方式。
第一种叫"
第二种叫"
换成生活场景就好懂了。假设你是阅卷老师,在批一道几何证明题。
**自己推导目标状态这一步本身就容易出错,而拿标准答案直接比对,正好省掉这个最容易出错的环节。**
要是裁判自己都把目标状态推错了,它给出的判断再细致,也是建在错误的基础上。这种误差会直接污染整个奖励信号,进而污染整个强化学习训练过程。
这个理论推导在实验里得到了扎实验证。研究团队用
结果层面,成对验证训练出的模型呈全面压制之势。
训练稳定性也拉开了差距。论文给出的训练曲线里,成对验证一方的性能爬升相对平缓,逐点验证一方则大起大落。这再次说明,"推理误差"这个额外噪声源确实在训练中造成了实打实的干扰。
团队还特意造了一批训练阶段没碰过的困难样本,用来检验泛化。结果显示,成对验证训练出的模型在陌生场景里仍然站得住。它学到的不像某个具体任务的固定套路,更像一种可以迁移的结构化推理能力。
论文另有一个容易看漏、但分量不轻的发现:监督微调和强化学习在这套流程里分工截然不同。研究团队观察到,像
反直觉的地方在这里。按通常理解,多模态生成模型里负责理解指令和语义推理的是文本编码器,扩散模型主体只管把语义变成像素。可训练全程文本编码器被冻结、参数不动,只有扩散模型主体在更新,模型的推理表现照样明显往上走。这说明推理智能并非文本编码器的专属地盘,生成模型主体自己也能习得、内化并表达结构化推理。这个点或许会影响今后生成模型的设计与训练思路。
整篇论文的逻辑链很连贯:先点出二元裁判信息量不够这个根子上的毛病,再用数学证明拆解打分能完整保住质量排序,接着设计解耦强化学习,让模型真正学会拆题和打分,最后推到规则驱动的世界建模场景,提出成对验证能大幅压低裁判自身的推理误差。每一步都配着理论支撑和实验数据。
论文标题已经点明方向,研究最终落到一个核心判断上:生成模型想真正长成能理解、能推演规则化世界的智能体,卡点很可能不在生成模型自身,而在有没有一套足够准、足够稳的裁判系统来给它指路。
写在后面
有个细节值得反复咂摸:团队做的那个数学证明,说白了讲的是一个朴素却常被忽略的道理——给模型什么反馈,它就学到什么。二元反馈教不出细腻的判断力,问题不在算法不够聪明,而在信息本身就太少。
论文对"成对验证需要标准答案图"这个前提的讨论也让人惦记。迷宫、数独这类规则确定的任务里,这套方法效果拔群;论文自己也承认,"存在唯一标准答案"的设定只覆盖现实世界的一小块。开放式的、答案不止一个的真实任务怎么办?论文没作答,而是把它放进了"局限性"一节。
文本编码器被冻结、推理能力却仍在提升,这处发现让我想到一个更大的问题:我们惯常以为的"先语言理解、后视觉生成"的分工,会不会只是自己的一厢情愿?如果连只吃图像监督信号的扩散模型主体都能冒出推理能力,那"语言智能"和"视觉智能"之间的界线,恐怕远没有想象中那么分明。
一个会拆题、会打分、还知道何时该对照标准答案的AI裁判,改的不只是图片,也是我们对"智能"该如何衡量这件事的理解。
Q&A
Q1:
A:OmniVerifier-C1由清华大学、高德地图、微见科技和北京大学联合团队提出,属于图分解式视觉验证器。它把复杂的图像生成要求拆成多个细粒度子问题,逐项核实后给出连续分数,取代了传统的对错二元判断。
Q2:图分验证器比传统二元验证器强在哪?
A:论文用数学证明加实验确认,图分验证器能完整保留生成样本的真实质量排序,排序准确率可达100%。二元验证器只分得清满分和非满分,对不同程度的部分正确样本无能为力,还容易让模型走捷径学习。
Q3:成对验证与逐点验证的差别是什么?
A:逐点验证要模型自己脑补目标状态再比对,推理误差容易冒出来;成对验证直接把标准答案图摆出来作参考,省掉了推理环节。实验显示,在迷宫、数独等规则驱动任务上,成对验证全面压过逐点验证,部分任务领先幅度达到10到20分。