ReImaGin：让AI推理时直接画图，六个视觉任务全面开花

琢磨家里的沙发怎么摆才不挡路，这种时候你多半不靠说话来想。脑子里先浮出一张图，转一转、比一比，答案才慢慢出来。

眼下最火的那批多模态大模型，走的不是这条路。它们看到图片，会先翻译成一堆文字描述，再拿文字去推理。这好比让建筑师蒙上眼睛，只听别人口述房间布局来画设计图。有些问题勉强能对付，可一旦碰上「这东西挪个位置会怎样」「换个角度看是什么样」，光靠嘴说基本就废了。

达姆施塔特工业大学和hessian.AI的这篇论文换了个思路：推理过程中直接调用图像生成模型，把「用嘴描述图片」改成「画一张新图出来看」。系统名叫ReImaGin。

问题出在哪儿

先说说现在的AI是怎么处理带图片的复杂问题的。

主流做法是链式思维（Chain-of-Thought），也就是让AI把复杂问题拆成一步一步的中间推理，最后再给答案，而不是一上来蒙一个结果。

这套方法在纯文字任务上效果拔群，GPT系列靠它在数学题、逻辑题上突飞猛进。研究者自然想把它搬到图文混合任务上，让AI看图说话、一步步推理。

问题是，这条「看图说话」的推理链条从头到尾都是文字。AI看一眼图片，把信息压成文字描述，后面的推理全在文字层面进行。就像看一场足球赛只能靠耳机听解说判断跑位，你永远没法自己看回放。简单的判断没问题，解说员说「球在禁区」你就知道危险了。可要是解说员没提「后卫正好挡住了射门角度」，你就永远想不到这一层，因为这个信息压根没被翻译成语言传给你。

后来有人想出了办法：给AI配一批专门的视觉工具，比如深度估计模型、物体检测模型、抠图工具，推理时可以调用，拿到一些结构化的视觉信息辅助判断。这类框架里比较有代表性的是Visual Sketchpad，它给多模态大模型配了一个固定的视觉工具箱（裁剪、检测、深度估计等），AI推理时能调用这些工具处理图片。

这套方案确实比纯文字推理强不少，但天生有个短板。工具箱里的都是「专才」：深度估计模型只会估深度，物体检测模型只会框物体，各守一亩三分地，谁都干不了别人的活。任务要是需要「把这个被挡住的东西露出来看看」，或者「把两张不同角度的照片拼成一张完整的房间地图」，工具箱里根本找不到对应的螺丝刀。

任务超出工具箱能力范围会怎样？AI只能干瞪眼，或者硬凑一个不靠谱的答案。Visual Sketchpad这类方案在论文实验里常常翻车，原因就在这里：它面对的题目不是「测个深度」这么简单，而是需要生成、想象、重构的活。

换个思路：让AI直接画图

ReImaGin的思路简单粗暴，但确实是个漂亮的转折。

专才工具箱不够用，那就换成一个万能工具，用最新的指令跟随式图像生成模型。这类模型能理解自然语言指令，按指令生成或修改图片，比如输入「把这张图里的黑框去掉，补全被挡住的部分」，它就能照做。论文里主要用的是谷歌的Nano-Banana-Pro（技术名Gemini-3-Pro-Image）。

关键在于思路的转变：图像生成模型从只会单项技能的专才，变成了能理解自然语言、按需求灵活调整的通才。AI 推理进行到某个环节，判断「这里需要查看该物体被遮挡部分的样子」，便用自然语言直接对生成模型下达指令「把黑框去掉，补全图案」，生成模型随即生成一张新图，放回 AI 的推理上下文，AI 继续往下推理。

原来只有一把固定尺寸的螺丝刀，现在换成一个会听话的机器人助手，你说什么它大致就能按你说的做出来，拧螺丝也好，钻孔也罢。

论文里有个特别直观的例子。任务是空间推理：给AI两张房间里不同角度拍的照片，问「进门之后写着字的那张纸在哪个方向」。麻烦在于，一张照片能看到门、看不到纸，另一张能看到纸、看不到门，两条信息压根凑不到一起。AI要是老老实实看图说话，两张图各自的文字描述都缺一半信息，怎么拼都拼不出答案。

ReImaGin的做法是调用生成模型，指令为「把这两张图拼成一张俯视地图」。生成模型真画出一张俯视图，把两张照片里散落的物体，门也好、纸也好，全塞进同一张画面。AI再看这张俯视图，答案清清楚楚摆在那儿：纸在门的左边，人背对门站着，纸自然就在右手边。

这个案例值得琢磨的地方在于，AI并没有真正拿到俯视上帝视角的信息。房间里根本没有俯视摄像头，生成模型也没有透视这个房间的超能力。它做的事，本质上是把两张平面照片里的空间线索重新组织成一张符合人类空间直觉的示意图。这跟你自己在纸上画草图理清思路是同一个逻辑：画图这个动作本身不产生新信息，但它把散落的信息重新排列成更容易被大脑处理的形式。

六个任务，全面开花

仅凭一个漂亮的案例并不足以说明问题，还需要用数据来验证。研究团队在六个差异显著的视觉推理任务上对 ReImaGin 进行了测试，涵盖深度感知、拼图补全、遮挡计数、碰撞预测、多视角空间推理，以及他们自行设计的一项路径追踪任务。

先看这些任务各自在考什么。深度感知这一项出自BLINK——这个基准专测多模态大模型能否看清视觉细节，典型题目是给一张图、标出两个点，问哪个点离镜头更近。

人眼一看就明白，可只靠语言去判断远近，AI翻车的次数并不少。

拼图补全用的是MIRA，它衡量的是AI能否靠视觉思维链解题，代表题型是从五个候选图案中挑出能补上图片缺口的那一块。

具体做法是图上留一个白色缺口，再给五块候选碎片，让模型选出严丝合缝的那块。

遮挡计数来自CAPTURe。这个基准用「数被挡住的物体」来考空间推理：图里堆着一批同类物体，一部分被黑框遮住，要求把看不见的那部分也算进去，数出总数。

碰撞预测取自Spatial457，这是一个考察六维空间推理的诊断基准，题目给俯视视角的场景图，问某个物体往前或往后移动会撞上什么。

多视角空间推理来自MMSI，即多图像空间智能基准，专门看AI能否把多张部分重叠的室内场景照片拼起来，回答物体之间的相对位置。

路径追踪是论文自己设计的新任务：图上有四个数字和四个字母，每个数字由一条虚线连到某个字母，AI要判断谁连着谁。

三个模型跑下来的结论相当一致——几乎所有任务上，ReImaGin都稳稳压过不用任何工具的纯文字推理，也压过Visual Sketchpad那种固定工具箱方案。

GPT-5的数据尤其能说明问题。拼图任务里，纯文字推理准确率29.5%，加上Visual Sketchpad反而跌到16.7%，ReImaGin则冲到44.9%，差不多翻了一倍还多。这个反常结果值得展开：固定工具反而拖了后腿，说明工具箱里没有对症的工具时，硬塞进去的东西会干扰推理、制造噪音。问题不在工具本身，而在于这套任务压根不是深度估计、物体检测那几把螺丝刀能解决的，硬用只会帮倒忙。

路径追踪上的差距同样惊人。Gemini-3.1-Pro纯文字推理是71.5%，ReImaGin直接做到89.0%，提升接近18个百分点。遮挡计数看的是误差指标，越小越好：Gemini-3.1-Pro纯文字推理误差8.9%，ReImaGin降到7.1%；GPT-5上更明显，从12.5%降到7.4%，几乎砍了一半。

这些数字落到实际里意味着什么？还拿路径追踪说，89%和71.5%之间，是原来每追100条虚线要错29条，现在只错11条，错误少了将近三分之二。换成现实场景想一下：如果一个AI帮你规划物流路线，过去每三条错一条，如今每十条才错一条，这点可靠性差距足以决定这套系统能不能真正投入使用。

唯一没有全面胜出的场景，是Gemini-3.1-Pro做深度感知时，Visual Sketchpad拿到99.2%，高过ReImaGin的94.6%。原因并不难懂：深度估计本就是Visual Sketchpad工具箱里的专精项目，人家专干这一件事，专才在主场占优也说得通。这也说明通才工具并非万能药，在专才已经成熟的窄场景里，专才可能依旧更准。

画出来的图靠不靠谱

有个问题得诚实面对：让AI画图辅助思考，前提是画出来的图得靠谱。图像生成本身带随机性，同一条指令，生成模型每次画出的东西可能都不太一样。

研究者为此做了一次人工审查：从六个任务里各挑约20张生成图片，合计120张，由人判断每张是否真正忠实完成了要求的转换。结果75%的生成图片是靠谱的。

更关键的是靠谱程度与最终答对之间的关系。生成图片靠谱时，AI答对的概率是87%；图片跑偏时，答对概率骤降到43%。这组差距说明，图像生成这一步不是可有可无的装饰，而是整条推理链上真正的关键节点——这一步一旦出错，后面的推理再努力也很难自行纠正回来。

好比请朋友帮你画一张路线草图，方向画错了，你照着走，走错方向的概率就大大增加；自己路感再好，起点错了终点也难对。

碰上特别难画的场景，比如前面提到的空间推理任务里那张俯视地图，生成模型有时确实会把物体的相对位置画错。研究者的应对办法叫测试时扩展

所谓测试时扩展，就是在推理阶段加大计算量。具体到这项研究，做法是让生成模型针对同一条指令画出多张候选图，再交给另一个AI模型当裁判，挑出最贴合指令的那一张。说白了，别只画一张，画十张，然后让另一个AI从中选出最靠谱的。

这套办法在空间推理任务上见效很快。Gemini-3.1-Pro不用它只有51.0%，用上之后升到59.0%。Qwen-3.5-27B的变化更大，从42.0%提高到54.3%，涨了12个百分点。论文里特别说明，提升完全来自图片质量的改善，文字推理部分一个字没动，只是给了AI一张更准的参考图，它自己就能把答案想明白。

研究者也注意到，多次采样挑最优这套策略，只在需要复杂几何变换的任务上管用，俯视地图就是例子。拼图补全、遮挡计数这类编辑任务相对简单，生成模型每次画出来的结果差不多，挑不出多大差别，多采样就是白费算力。道理不复杂：额外的算力得花在真正有不确定性的地方。

省下人工，让AI自己摸索该画什么图

前面那些案例，「画俯视地图」「把虚线变实线」「去掉遮挡黑框」，具体策略最初都是研究者手工设计好、塞进AI提示词里的。靠的是人先打样，告诉它碰到这类题就该这么用画图工具。

痛点很明显：每换一个新任务，就得有人坐下来琢磨半天，想清楚这个任务最适合生成什么样的图，再把这套策略手写进提示词。而且这笔人力成本不是一次性的，任务种类越多，累加得越多。

研究者于是又往前走了一步，试着让AI自己摸索策略，不再依赖人手写范例，只靠一个训练集和一个开发集的反馈信号，通过一轮轮迭代提案和评估，自动找出一套管用的策略提示词。这套自动发现机制先跑一版最朴素的提示词打个底分，然后由「提案模型」根据训练集里做对和做错的案例提出几个新候选提示词，拿到开发集上打分，挑出表现最好的几个，再进入下一轮，一共跑四轮。

结果挺耐人寻味。自动发现的策略，很多时候和人类手工设计的版本惊人地相似。深度感知任务里，自动发现的策略学会了「生成一张深度图」，和研究者的手工思路几乎一样。碰撞预测任务里，它学会了「从物体正面画一条箭头指向前进方向」，这不就是研究者原本手写的策略吗。

这背后是件挺深刻的事：对于「什么样的视觉转换能帮上这类问题」，大模型本身有相当靠谱的直觉。它不是瞎猜，而是通过看训练集里的成功和失败案例，反推出了背后的规律。这跟一个新手厨师靠尝几次菜、看哪次做对了哪次做砸了，就能摸出「肉要先腌半小时」的道理，学习逻辑是一样的。

当然，自动发现的策略并非百分百追平手工版本。以Gemini-3.1-Pro配Nano-Banana-Pro这套组合为例，遮挡计数任务上手工策略误差是7.1%，什么策略都不给是12.1%，自动发现的策略是8.0%，卡在两者之间，比裸奔强，但没完全追上手工设计。

差距比较大的是路径追踪任务。手工策略只让生成模型「把虚线变成实线」，简单直接。自动发现的策略更进一步，要求「把不同的路径染成不同颜色」，听着更聚焦，实际效果反而稍逊。研究者分析，生成模型把虚线变实线几乎从不出错，可要它给好几条路径分别染上正确且前后一致的颜色，难度陡增，模型经常在染色环节出岔子，把整体表现拖了下去。

这个反差说明的道理很朴素：策略更花哨、更精细，不一定就更好，关键看它对生成模型来说是不是「够得着」的操作。让一个只会用蜡笔涂色的孩子去「精确按数字涂色不能出界」，听起来更细致，实际出错率反而飙升，还不如让他随便涂个大色块。

更有意思的是跨模型迁移测试。研究者把强模型Gemini-3.1-Pro摸索出来的策略提示词原封不动搬到弱一些的开源模型Qwen-3.5-27B上，不重新训练，也不重新摸索。五个任务里有四个，这套策略依然比什么都不给强，说明策略本身承载的智慧能跨模型通用，不完全是死记某个特定模型的怪癖。但遮挡计数任务上，迁移后的表现反而下降了。给强模型量身定做的精细策略，未必能无损套到能力更弱的模型身上，有些策略得靠模型本身的理解能力才执行得下去。

开源模型能不能顶上

Nano-Banana-Pro是谷歌的闭源顶级模型，普通开发者用起来成本不低。研究者测试了两个开源图像生成模型能否顶替它的位置：FLUX.2和Qwen-Image-Edit-2511。

结果是各有胜负，谁也没能全面接管Nano-Banana-Pro的位置。FLUX.2在深度感知任务上翻车，只有89.1%，比什么工具都不用的91.7%还低。Qwen-Image-Edit-2511则在路径追踪任务上拖了后腿，只有76.0%，明显落后于Nano-Banana-Pro的89.0%。

不过在遮挡计数这个相对简单的补全任务上，两个开源模型反而比Nano-Banana-Pro稍好一点：FLUX.2误差7.0%，Qwen-Image-Edit误差6.8%，Nano-Banana-Pro是7.1%。

这个模式说明，开源模型在局部编辑这类简单直接的操作上已经很能打，但碰到需要精确空间理解、需要全局一致性的复杂几何变换，和顶级闭源模型的差距依然明显。就像修自行车的师傅换个刹车片手到擒来，让他重新设计整台车的车架结构，就不是一回事了。

写在后面

通读这篇论文，最先让我停下来的，其实是Visual Sketchpad在某些任务上还不如什么都不用时的表现。这组数据打破了「新方法一定赢过旧方法」的常规叙事，也提醒人们：给AI配上一堆专业工具，未必只带来好处。工具和任务对不上，它就会变成干扰推理的噪音。这个发现比「ReImaGin更强」本身更值得记住，因为它戳破了一个常见错觉——工具越多越好用。

另一个让我反复琢磨的细节，藏在那张俯视地图案例里。AI其实并没有真正拿到房间的俯视信息，生成模型也没有透视墙壁的本事。它做的，是把两张平面照片里本来就隐含的空间线索重新组织，变成一种更适合人类和AI处理的形式。很多所谓「AI突破」，未必是拿到了全新的信息输入，而是找到更聪明的办法，把已有信息重新摆放，摆到大脑或算法更容易读懂的位置上。人类解决问题时画个草图、列个表格，干的其实是同一件事。

论文里还提到一个没怎么被强调、但在我看来很要紧的现象：生成的图片忠不忠实，跟最终答对的比例差得很远——前者到位时是87%，后者只有43%。也就是说，整套系统的上限，说到底还是被图像生成模型本身的能力压住了。想让这条路走得更远，接下来的关键恐怕不在推理框架怎么设计，而在于图像生成模型能不能画得更准、空间上理解得更清楚。哪天图像生成模型真能做到指哪打哪、分毫不差，这套「用画图来思考」的框架大概会跑出比现在测到的数字更让人意外的成绩。

Q&A

Q1：ReImaGin是什么？

A：ReImaGin这个多模态推理框架出自达姆施塔特工业大学和hessian.AI。它的做法是：AI回答视觉问题时，可以去调用图像生成模型，把中间步骤画成辅助图片，而不是光靠文字把图片内容描述一遍再推理。

Q2：ReImaGin和Visual Sketchpad有什么区别？

A：Visual Sketchpad给AI配的是固定的专才工具，比如只能测深度、只能检测物体，能干的事有限。ReImaGin配的则是通才生成模型，能听懂自然语言指令，图片可以自由生成、自由修改，开放式的视觉操作也能应付得更多。

Q3：让AI自己画图辅助推理靠不靠谱？

A：研究者一共查了120张生成图片，其中75%是忠实执行了指令的。图片靠谱的时候，AI最后答对的概率是87%；图片跑偏了，答对概率就掉到43%。图片质量怎么样，直接决定了推理靠不靠得住。