清华团队造出会拆题的AI裁判:图像生成打分不再只有对错

资讯 腾讯网 作者:科技行者 全文 4454 字 · 约 12 分钟读完 分类世界模型图像生成

你有没有遇到过这样的场景:让一个AI判卷子,它只会打勾或打叉,可一张图片明明做对了七成,剩下三成有瑕疵,它却和那种全错的图片给出一模一样的判决。这事儿听起来有点荒唐,但它恰恰是当下AI图像生成领域一个被忽视很久的真问题。**图像生成模型越做越强,但给它们"打分"的裁判却还停留在上个世纪。**这篇来自清华大学、...

所属频道 模型发布视频图像生成

让AI去判卷子,它只给勾或叉。一张图七成做对、三成有瑕疵,跟一张全错的图,拿到的判决竟然一模一样。这种场景你碰到过吗?

听着有点离谱。不过这正是AI图像生成领域被忽略许久的一个真问题。

**图像生成模型一路变强,给它们打分的裁判却还停在上个世纪。**

清华大学、高德地图(阿里巴巴旗下)、微见科技和北京大学联合团队写的这篇论文,盯的就是裁判系统的毛病。他们把裁判叫作"视觉验证器",论文的主角则是

生成式视觉验证器

裁判打分,为什么是个大问题

有件事得先讲明白:AI生成的图片,为什么需要请一个"裁判"?

你写一句"一只红色立方体放在蓝色球体上",让AI照此画一张。画完以后,谁来认定它跟描述对不对得上?人工逐张过目显然不现实,于是研究者训练了专门的裁判模型,让它看一眼生成的图和原始文字描述,然后作出判断。

这套裁判系统不光用于打分评测。AI生成图片的过程中,它还反复被用来"纠错",甚至直接充当强化学习的奖励信号,推着生成模型变聪明。说到底,裁判什么水平,被训练的学生就是什么水平。

毛病恰恰出在这。眼下主流的裁判几乎都是

设想你是老师,要批一百篇写"春天"的作文。按

**结果呢,学生没法从分数里看出"我哪里还不行",只知道自己"不及格",却不知道离及格差多远。**

站在出题老师的角度,这套打分系统激励不了学生进步。它只能把最差的筛掉,没法把"还不错"的推到"更好"。论文点出的强化学习核心矛盾正在这里:二元奖励信号太粗,同一批次里质量参差的样本区分不开,训练过程也就变得低效,甚至不稳。

还有更棘手的。研究者发现,这种粗线条的裁判容易"学歪"。只须猜中最后那个"对错",裁判模型就很可能抄近道,凭一些表面视觉线索蒙混过去,而不去真正理解图中物体、属性、空间关系这些复杂组合逻辑。这个现象有专门的名字。

奖励黑客

研究团队看明白了:裁判不能再当只会打勾打叉的机器,得学会"拆题"。

给AI装上一个会拆题的大脑

OmniVerifier-C1

还是拿"红色立方体放在蓝色球体上"举例。这个验证器不会甩出一个笼统的"符合"或"不符合",它先把整句话拆成三个小问题:图里有红色立方体吗?图里有蓝色球体吗?立方体是不是真的搁在球体上面?

三个小问题逐一核实,答案取0或1。再把满足的问题数除以总数,得出0到1之间的连续分数。三个问题对了两个,分数就是三分之二,约等于0.67。

设计听着不复杂,效果却好得出奇。论文做了严格数学证明来支撑它,核心逻辑是:假设一个提示词能无损拆成K个子问题,一张图满足其中z个,那么连续分数与满足数量z严格单调递增。也就是说,只要两张图的真实质量有差别,连续分数一定能把它们排对顺序,排序准确率达到百分之百。

而

说成大白话就是:**二元裁判只分得清"满分"和"非满分",至于"非满分"里谁更接近满分、谁差得更远,它看不出来。**

好比高考只公布"过线"和"未过线"两种结果。没过线的考生,差一分和差一百分,成绩单上长得一模一样。这种信息损失会一路传导到后面的训练环节,因为强化学习里有种叫

GRPO

要练出这样一个既会拆题又能打分的裁判,研究团队搭了一套叫做"

一次采样,拆成多个任务同步训练

研究团队的做法是:拿到一条文字提示和它对应的生成图片后,先看这条提示能拆出几个子问题。假设拆出K个,这组数据就被转成K+1份强化学习训练样本。

第一份样本只练"打连续分数"。验证器同时看完整提示和图片,给出一个全局对齐分数,预测值和真实值差得越小,奖励就越高。剩下K份各管一个子问题:验证器只盯着这一个子问题和图片,判断满足还是不满足,猜对拿满分,猜错没有奖励。

两类样本混着训,就构成了所谓的"解耦"方案——全局打分和局部细粒度判断分开优化,同时又互相支撑。

这里有个设计值得多想一层:直接让模型学打总分不就行了,为什么非要拆出一堆子问题单独训?

论文的实验结果给出了答案。研究团队做了一组对照实验,在

ViVerBench

结果表明,不管二元验证器是只做强化学习,还是先做

差距看着不算大,但论文特意点明:问题不在训练流程,而在监督信号本身。二元标签压掉的信息太多,模型学到的其实是走捷径猜答案,并没有真正理解图片里复杂的语义结构。拆成子问题,等于逼着模型把每个细节都过一遍,这种结构化的推理过程让它在没见过的陌生任务上反而更稳。

这就像两种学习路数:一种靠死记答案,一种把大题拆成小题,逐个吃透再拼回去。前一种应付考试或许还行,题目一换就露怯;后一种练着费劲,拿到的却是最根本的原理,新题来了也接得住。**绕开这种拆分训练,模型多半会在看着像、实则不同的新场景里翻车。**

从画画到"懂规则":验证器在传统任务里的实战表现

验证器练成之后,就该看实战里能不能带来真提升。研究团队先挑最常见的文字生成图像场景测试,用了Stable Diffusion 3.5和FLUX.1-dev两个主流图像生成模型,分别以二元验证器和图分验证器作为强化学习的奖励信号来训练。

结果相当直观。在

GenEval

论文还拿另一个同样输出连续分数的竞品做了对比

但这篇论文真正野心勃勃的地方,其实在后半段。

当AI要"推演世界",裁判标准彻底变了

传统的文字生成图像任务有个特点:同一句话可以对应无数张合理图片。"一只猫坐在沙发上",猫什么颜色、沙发什么款式、光线怎么打,怎么画都算对,没有唯一标准答案。

但研究团队意识到,还有一类任务完全不同:

拿迷宫来说,起点终点固定、墙壁位置固定,"怎么走出去"可能有多条路径,可"迷宫本身长什么样"是唯一确定的。数独也一样,给定初始数字,加上行列宫格不能重复的规则,空格里填什么数字是唯一确定的。

这类任务有个关键条件:往往存在一张"标准答案图"可供参考。研究团队抓住这一点,提出了两种截然不同的裁判方式。

第一种叫"

第二种叫"

换成生活场景就好懂了。假设你是阅卷老师,在批一道几何证明题。

**自己推导目标状态这一步本身就容易出错,而拿标准答案直接比对,正好省掉这个最容易出错的环节。**

要是裁判自己都把目标状态推错了,它给出的判断再细致,也是建在错误的基础上。这种误差会直接污染整个奖励信号,进而污染整个强化学习训练过程。

这个理论推导在实验里得到了扎实验证。研究团队用

结果层面,成对验证训练出的模型呈全面压制之势。

训练稳定性也拉开了差距。论文给出的训练曲线里,成对验证一方的性能爬升相对平缓,逐点验证一方则大起大落。这再次说明,"推理误差"这个额外噪声源确实在训练中造成了实打实的干扰。

团队还特意造了一批训练阶段没碰过的困难样本,用来检验泛化。结果显示,成对验证训练出的模型在陌生场景里仍然站得住。它学到的不像某个具体任务的固定套路,更像一种可以迁移的结构化推理能力。

论文另有一个容易看漏、但分量不轻的发现:监督微调和强化学习在这套流程里分工截然不同。研究团队观察到,像

反直觉的地方在这里。按通常理解,多模态生成模型里负责理解指令和语义推理的是文本编码器,扩散模型主体只管把语义变成像素。可训练全程文本编码器被冻结、参数不动,只有扩散模型主体在更新,模型的推理表现照样明显往上走。这说明推理智能并非文本编码器的专属地盘,生成模型主体自己也能习得、内化并表达结构化推理。这个点或许会影响今后生成模型的设计与训练思路。

整篇论文的逻辑链很连贯:先点出二元裁判信息量不够这个根子上的毛病,再用数学证明拆解打分能完整保住质量排序,接着设计解耦强化学习,让模型真正学会拆题和打分,最后推到规则驱动的世界建模场景,提出成对验证能大幅压低裁判自身的推理误差。每一步都配着理论支撑和实验数据。

论文标题已经点明方向,研究最终落到一个核心判断上:生成模型想真正长成能理解、能推演规则化世界的智能体,卡点很可能不在生成模型自身,而在有没有一套足够准、足够稳的裁判系统来给它指路。

写在后面

有个细节值得反复咂摸:团队做的那个数学证明,说白了讲的是一个朴素却常被忽略的道理——给模型什么反馈,它就学到什么。二元反馈教不出细腻的判断力,问题不在算法不够聪明,而在信息本身就太少。

论文对"成对验证需要标准答案图"这个前提的讨论也让人惦记。迷宫、数独这类规则确定的任务里,这套方法效果拔群;论文自己也承认,"存在唯一标准答案"的设定只覆盖现实世界的一小块。开放式的、答案不止一个的真实任务怎么办?论文没作答,而是把它放进了"局限性"一节。

文本编码器被冻结、推理能力却仍在提升,这处发现让我想到一个更大的问题:我们惯常以为的"先语言理解、后视觉生成"的分工,会不会只是自己的一厢情愿?如果连只吃图像监督信号的扩散模型主体都能冒出推理能力,那"语言智能"和"视觉智能"之间的界线,恐怕远没有想象中那么分明。

一个会拆题、会打分、还知道何时该对照标准答案的AI裁判,改的不只是图片,也是我们对"智能"该如何衡量这件事的理解。

Q&A

Q1:

A:OmniVerifier-C1由清华大学、高德地图、微见科技和北京大学联合团队提出,属于图分解式视觉验证器。它把复杂的图像生成要求拆成多个细粒度子问题,逐项核实后给出连续分数,取代了传统的对错二元判断。

Q2:图分验证器比传统二元验证器强在哪?

A:论文用数学证明加实验确认,图分验证器能完整保留生成样本的真实质量排序,排序准确率可达100%。二元验证器只分得清满分和非满分,对不同程度的部分正确样本无能为力,还容易让模型走捷径学习。

Q3:成对验证与逐点验证的差别是什么?

A:逐点验证要模型自己脑补目标状态再比对,推理误差容易冒出来;成对验证直接把标准答案图摆出来作参考,省掉了推理环节。实验显示,在迷宫、数独等规则驱动任务上,成对验证全面压过逐点验证,部分任务领先幅度达到10到20分。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Intern Lumina U2:一个既能看图说话又能画图生图的AI,是怎么把“理解”和“生成”塞进同一套语言里的

    先说一件挺反直觉的事。现在市面上大多数"既能看图又能画图"的AI模型,其实内心是分裂的。它们理解图片的时候用一套语言,生成图片的时候用另一套语言,就像一个人说中文的时候用一套逻辑思考,说英文的时候用另一套逻辑思考,两套系统各自为政,训练的时候还经常互相打架。这篇来自上海人工智能实验室等机构的论文,Inter...

    来源 腾讯网
  2. AI 大神李沐又有新动作!加入 Aimotion,让世界模型落地产业

    硅兔君发现,硅谷 AI 大神李沐,最近有了一个新身份—— 硅谷公司 Aimotion 的联合创始人兼 CTO,主导下一代产业级 AI 技术体系建设。同时,大神在 Boson AI 的联创兼 CTO 工作仍将继续。此次变动,主要在于双方将合力打造产业级世界模型与商业 AI Agent 技术,融合 Boson AI 的底层

    来源 腾讯网
  3. 世界模型杀入摄影圈:AI帮你换个机位重拍一张

    为了凑齐朋友圈的九宫格,一生爱出片的中国人不断添置设备、研究机位,有时还要搭上旅行的好心情。 与此同时,顶尖的科学家和资本正砸下几十亿美金,试图用“世界模型”教AI理解物理世界。 看似风马牛不相及的两件事,或许很快就要在同一个取景框里迎头相遇。 #01 世界模型,开始研究出片 一张照片拍完,还能换个机位吗?李飞飞创办的

    来源 AI 行业观察
  4. 国产芯片三级跳:近10万颗出货后,存储与AI芯片各闯一关

    (本文作者为 冯伟冯大白,钛媒体经授权发布)文 | 冯伟冯大白今年前三季度,国内半导体产业获得的投资已经超过去年全年。投中嘉川CVSource统计的金额是3311亿元,投资事件1475起。进入11月,计算芯片企业的新融资仍在披露。资本愿意等待的产品,已经有了不同的模样。有的芯片卖进了客户机房,新资金用来准备下一代;有的

    来源 腾讯网
  5. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  6. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  7. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  8. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  9. Velox给视频世界模型加空间记忆:为何能越跑越快?

    你有没有玩过那种需要边走边记路的游戏?比如在一个开放世界游戏里,你从家门口出发,一路往前走,走过商店、走过公园、走过桥。游戏引擎要做一件事:记住你走过的每一寸地方,这样当你回头的时候,看到的还是刚才那个商店,而不是凭空变成了一个加油站。现在把这个场景换成AI生成视频。有一类叫"视频世界模型"的技术,你给...

    来源 腾讯网
  10. 全网AI集体翻车!为什么它们死活画不对13个鸡蛋?

    给你一张白纸,画13个鸡蛋,你需要多久?一分钟?画一个数一个,画完再点一遍,大概连橡皮都用不上。可这道题交给AI,它画了十几轮,一轮也没画对。11月18日,“让豆包画13个鸡蛋”就这么冲上了微博热搜,话题热度当天破了百万。从热搜里流传的截图看,经过是这样的。“让豆包画13个鸡蛋”,这是第一轮丨微博用户@一号哨位...

    来源 腾讯网
  11. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  12. 当AI办公接入同样的模型,竞争回到了老问题上

    这是难得一见的一幕。因为AI的出现,中国的几家大公司近期先后调整了AI办公业务的组织架构。 7月底,字节跳动启动组织调整,整合豆包、飞书和火山引擎的力量,9月CEO梁汝波在飞书大会上首次系统阐释了这一安排;腾讯的WorkBuddy由马化腾亲自参与产品会议,QClaw相关业务和团队也并入这条线;阿里把三款产品合并成千问办

    来源 AI 行业观察
  13. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
  14. 吴泳铭:2027年后阿里绝大部分新增AI芯片将由平头哥和国产芯片供应

    本文来源:时代财经 11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,2027年之后,阿里绝大部分新增的AI芯片供给以平头哥的芯片为主,同时会从其他国内供应商采购部分芯片用于支持推理类工作任务。吴泳铭称,2027年一季度,新一代平头哥的国产芯片完全可以支持超大规模模型的训练。“随着平

    来源 腾讯网
  15. 从英伟达到苹果、微软:同样拥抱AI,为什么企业的财富命运截然不同?

    AI正在改变企业创造财富的方式。检索、计算、起草、核对等标准化工作,越来越多地由工具完成。技术能力的普及并不意味着企业之间的差距会消失。相反,当算力和信息更容易获得,领导者如何提出问题、配置资源、处理冲突以及确定长期目标,开始更直接地影响企业能否把技术转化为持续价值。德鲁克曾把管理与领导分开:管理是把...

    来源 腾讯网
向下滚动自动加载更多