生成式视觉推理多走几步能更聪明?论文从数学上给出否定答案
你有没有想过这样一个问题:如果让一个AI模型多想几遍,它是不是就能变得更聪明?这听起来像是常识。人做数学题的时候,打草稿、检查、修改,步骤越多往往越准确。那AI生成图像来解决问题,是不是也应该是步骤越多越聪明?2025年,一群研究者盯着这个问题死磕了很久,最后得出一个让人意外的答案:不一定。**事情要从一种叫...
如果一个AI模型多想几遍,它会不会因此变聪明?这个问题听起来像常识。
人做数学题,打草稿、检查、修改,步骤越多通常越准。那么AI通过生成图像来解题,是否也遵循步骤越多越聪明的规律?
2025年,一群研究者在这个问题上钻了很久,最后给出的答案出人意料:不一定。
**先说说“生成式视觉推理”这个新思路。**
过去,AI解推理题(走迷宫、解数独、找最短路径之类)走的是文字链条的路子,一步一步把推理过程写出来。后来有研究者注意到,有些问题天然适合用图像处理,比如空间规划、拼图、路径搜索,画出来比写出来更直观。于是有人提出:干脆让AI直接“画”出解题过程,靠生成图像一步步逼近正确答案。
这套方法的核心工具叫
流匹配
直觉上,这套方法简直天生就该装进“推理”的外壳。从噪声变成图像要走很多步,这“很多步”不正好对应AI一步步思考的过程?先想个大概方向,再细化细节,再修正错误,跟人脑解题的套路一模一样。
确实有研究者把这个想法付诸实践,用
但论文作者们觉得不对劲,决定从数学上较这个真。
多走的步骤,可能只是白走
研究团队用了一套叫
电路复杂度
的理论工具,刨根问底地分析
这话怎么理解?
想象你在玩“传话游戏”,不是传给一群人,而是你一个人反复小声修正同一句话,每次只改一个字。改1000次,这句话能变多复杂?答案是,不会比你改10次复杂太多。每次能改的幅度太小,1000次小修正加起来,整体效果还是能被几次大修正模拟出来。流匹配的问题就出在这:每步更新幅度都被步数K严格限制,步数越多,每步能改变的东西反而越少,变化幅度是O(1/K)这个量级,步数翻倍,每步改动量就减半。
论文证明了一件很扎实的事:整个采样过程本质上是在解一个连续的
常微分方程
因此,无论把这个方程拆成多少个离散步骤来走,理论上总能找到一种替代求解方式,用固定数量的并行计算轮次(不随步数K增长)把整条轨迹模拟出来。换句话说,你看着走了50步、100步,但这些步骤真正蕴含的“串行计算深度”是个常数,不会因为多走几步就变多。
**这意味着,采样器再强、步数再多,模型的推理能力都被焊死在它自己的**
这个结论落到现实的神经网络架构上,含义很具体。研究者提到,像标准的
对数精度
Transformer,如果不用思维链,其计算能力被证明只能落在一个叫TC?的
论文给出的结论是:这种Transformer就算被放进流匹配的采样循环中反复跑很多步,本事仍旧卡在TC?这一档(换成别的架构变体,可能只到更弱的AC?),一步也没能再往上走。
这就好比你雇了一个只会做简单加减法的会计,让他把同一张报表反复检查1000遍。检查1000遍能查出微积分里的错误吗?不能。他的能力上限从一开始就定死了,重复检查的次数再多,也突破不了“只会算加减法”这个天花板。那如果不设这个限制会怎样?这意味着任何一个弱小的模型,只要给足够多的采样步数,就能解决任意复杂的问题,这显然和我们对计算能力的基本认知相悖。
证明这件事的过程本身也挺精巧。研究者用了一种叫
并行Picard迭代
的技巧,把原本看起来必须顺序执行的K步计算,压缩成了O(L)轮(L是模型的
这就是Lipschitz常数。
这些并行计算所需的轮数只与L(模型的Lipschitz常数)有关,不会跟着步数K一起涨。原本1000个人得排成一队挨个传话,如今所有人同时参照邻居的猜测互相修正,几轮下来就能收敛到同一个答案,长队根本不用排。
真正的突破口:让模型随身带一块草稿板
问题既然卡在“每一步的变化幅度太小,装不下复杂计算”,解法也就明朗了:让模型在相邻的采样步之间多传一些信息,变化幅度不再被步长锁死。
研究者给出的答案叫
自条件
的技术。
它具体怎么跑?传统的流匹配里,每一步更新只看当前的噪声状态,状态的改变幅度被步长牢牢压住。但
这个预测值跳出了步长的约束。它不是靠小幅度一点点累加出来的,而是模型直接对最终结果做一次“跳跃式”的猜测,再随着当前进展随时推翻重写。
可以这么理解。流匹配原来的采样过程,像蒙着眼睛走迷宫:每一步只能挪一小段,终点在哪个方向完全不知道,只能凭脚下的触感微调。这样走1000步,攒下的信息其实很有限,每步能纠正的偏差太小了。而
论文给这个终点预测起了个名字,叫
内部草稿纸
这个比喻很贴切。正是这块“草稿纸”的存在,让模型在不同采样步之间能传递任意复杂的信息,不再受“每步只能改一点点”这条物理约束的束缚。
训练用了两阶段的做法:第一遍模拟采样刚开始、草稿纸还空白的情形;第二遍模拟草稿纸已有内容、需要在此基础上继续修正的情形。两次预测用同样的权重加总成损失函数,模型只需多做一次前向传播,就学会了怎么用这块草稿纸。
从“常数深度”到“图灵机”:理论上限被打开
加上自条件之后,模型的理论能力边界有了什么变化?
论文的核心定理证明,带自条件的流匹配只要步数足够多,一个结构极其简单(属于AC?这个最弱电路类)的模型,居然可以模拟
空间受限图灵机。
也就是说,只要采样步数给够,模型能解决的问题范围就从“常数深度电路做得到的”一跃跳到“整个空间受限计算理论做得到的”,这是质的变化。具体来看,论文证明步数为多项式级别时,模型能解决P/poly类问题;步数到指数级别时,甚至能触及PSPACE/poly这个更宽的类。
证明的路子很直接:草稿纸既然能承载任意信息,那就让模型把一台图灵机的“纸带”内容和运行状态直接存到草稿纸上。每走一步采样,模型就模拟图灵机推进一步,纸带内容随之更新。等模拟的图灵机跑到终止状态,答案就写在纸带上不再变化,模型只要把这个固定不变的答案一路保持到采样结束。
这好比原先你给一个只会查字典的助理一张纸条去办事,他的能力永远跳不出字典能查到的范围。现在给他配一块白板,告诉他每收到一条新指令就在白板上更新当前进度,下次执行前先看一眼白板写了什么。这个助理突然就能完成需要记忆、需要分阶段推理的复杂任务了——白板给了他保存状态、持续迭代的能力,不必每次都从零开始、靠一张便签条做判断。
不过,这一理论上的大幅提升并非无条件成立,论文本身也承认了这点。相关证明要建立在若干正则性假设之上,例如模型输出的变化幅度必须受限(也就是有界
三个“刁钻”任务,用来验证理论
只有理论证明还不够有说服力,研究者设计了三个任务,专门卡在理论预言的“分界线”上,拿来做实锤验证。
第一个任务叫线条追踪,要求模型给五条穿过多个“排列阶段”的长折线上色。这个任务被证明属于NC?复杂度类,理论上难度刚好超出TC?模型(普通流匹配大概够不着)能处理的范围。第二个任务是长竖式乘法,要求模型完整画出多位数乘法的竖式计算全过程,包括每一步的进位和求和,复杂度是TC?完全的。第三个任务是长文本渲染,要求按排版规则把一段文字渲染成图像,同样是TC?完全的。
这三个任务有一个共同点:它们的符号化版本的计算复杂度,刚好卡在普通流匹配(受限于AC?或TC?)理论上碰不到、而带自条件的流匹配理论上能碰到的那条分界线上。
实验结果印证了理论预测。线条追踪任务上,训练计算量相同,带自条件的版本能把折线准确上色到第50个阶段(即全部正确),普通流匹配稳定到第8个阶段左右就开始出错。长竖式乘法上,带自条件的版本用不到一半的训练预算就达到90%以上的准确率,普通流匹配在整个测试的计算预算范围内都没到这个水平。长文本渲染任务上,带自条件版本的字符错误率最终降到0.005左右,普通流匹配一直在0.03到0.1之间徘徊,差了整整一个数量级。
更能说明问题的是一个叫"自条件"的机制。这组数字直接验证了论文最核心的理论判断:普通流匹配加再多步数也白搭,自条件版本却能把多出来的步数变成更深的推理能力。
除了三个专门设计的合成任务,研究者还把验证搬到了更贴近真实应用的视觉推理基准上,一共五个任务:大规模视觉空间规划、走迷宫、数独、拼图复原,规模更大。
旅行商问题
在训练计算量和采样步数都受控的相同条件下,带自条件的方法五个任务全部压过普通版本,平均准确率从65.9%升到76.7%,涨了10.8个百分点。研究者随后又把这套方法放到一个200亿参数的大模型上做更大规模测试,并与此前两个代表性工作对比:一个叫
自条件还带来一个意外的"副作用"。分析生成轨迹时,研究者发现自条件机制保留了两个很有意思的特性,而这两点,传统逐词生成的思维链方法天生做不到。
第一个特性是并行局部计算。在长竖式乘法任务里,哪怕只走一步采样(
更值得关注的是第二个特性——原地纠错。研究团队设计了这样一组实验:让模型先围绕问题A展开生成,中途冷不丁把条件替换成问题B,观察它能否把已经写了一半的内容拽回来、重新对上问题B的答案。数据显示,只要这次"调包"落在采样轨迹的前半段,带自条件的版本约有90%的概率能把答案纠正到与问题B匹配;即便调包时间稍晚,只要没越过轨迹70%的位置,成功率依然不低,真正彻底失灵要到第35步前后。
打个比方,你正在写命题作文,写到一半监考老师通知换题目。假如你习惯写一句就定死一句、绝不回头改,那题目一变基本只能推倒重来。反过来,要是写作过程中始终留着一份"大纲草稿",每写完一段就对照大纲检查一下,题目突然换了,你也不用推翻已有内容,把后面的部分朝新方向带过去就行。自条件机制里那块,起的就是这个作用。
Q&A
Q1:自条件机制与普通流匹配的本质差异在哪里?A:普通流匹配每一步只允许状态做很小幅度的变化,而且步数越多这个幅度还会进一步收窄,于是步数加得再多,效果也等同于常数轮的并行计算。自条件则多做了一件事:让模型预测一份"终点草稿"并回喂给下一步,这份预测允许大幅跳变,等于给模型配了一块随时能重写的状态记录板,多出来的采样步数这才真正被转化为更深的推理能力。
Q2:这篇论文的理论结论在现实训练出来的模型上靠谱吗?A:论文的理论证明依赖模型输出变化幅度有限(即
Q3:自条件版本在实际任务上比普通流匹配到底强多少?A:在三个合成任务上普遍有显著提升,比如长竖式乘法用不到一半训练预算就达到90%以上准确率;在五个结构化视觉推理任务上平均准确率从65.9%提升到76.7%;在200亿参数大模型上针对单任务训练的自条件版本平均达到90.0%,超过此前的DiffThinker(75.8%)等基线方法。