上交团队推出RISEBench++：AI画图到底会不会推理，1000道题来测

让AI画一张图，结果图是出来了，可那种敷衍劲儿一眼就能看出来，活像“看图说话”。你提的要求是“画一个天平，左边放图一里的硬币，右边放图二的橙子之后的样子”，它倒好，硬币和橙子都给你画上了，天平往哪边斜，它根本没算。

上海交通大学联手东南大学、华南理工、复旦、华东师大等几所高校的研究团队，做的就是捅破这层窗户纸的活儿。他们搭了个评测体系，名字叫**RISEBench++**，用途很明确：检验AI图像编辑模型究竟是在真“推理”，还是只会在图里找相似的东西往上贴。

有意思的是，这已经不是他们头一回干这件事。前身RISEBench在2025年的NeurIPS（人工智能顶级会议之一）上拿了Oral奖，属于入选论文里前0.35%的那一批。这回的RISEBench++是一次大升级：题库从360道扩到1000道，支持的能力从单一维度铺开到六大类，另外还配了一个能自己动脑子解题的“RISE-Agent”系统。

先说清楚，难点究竟在哪。

AI看得懂图、听得懂话，不等于它能“推理着画图”

这几年，大型多模态模型（LMM）在“看图说话”（视觉理解）和“凭空画图”（图像生成）两头都跑得很快。于是就有人琢磨：这两样本事都有了，拿张图片过来改一改，总该没问题吧？

多模态模型*：既能理解图片和文字、又能生成图片和文字的AI系统，把“看”和“画”两种能力打通了。

现实给的答案是打脸。研究团队发现，现有开源模型普遍在三处掉链子：复杂指令读不懂；改完图，原图里的东西全走了样（appearance consistency，即外观一致性崩了）；再有就是只认单张图，遇到“给你两张图，把图二的东西放进图一”这种需求直接歇菜。

不过局面被GPT-image系列和Google的Nano Banana系列搅动了，它们明显比开源模型能打。这些模型身上体现出一种能力，叫“推理驱动的视觉编辑”（Reasoning-Informed viSual Editing，缩写RISE）。说白了，就是能照着常识和逻辑去推断图该怎么改，而不是死板地执行字面指令。

问题是，当时没有一把靠谱的尺子去量这种能力。你凭什么说A模型比B模型“更会推理”？凭感觉吗？RISEBench要解决的就是这件事。

打个比方，你想比两个厨师谁更会“随机应变”，光让他们各做一道菜没用，简单的菜谁都能照菜谱做出来。得设计点刁钻场景，比如“客人说不吃辣，但家里只有辣椒酱”，看他们是乖乖端上辣的菜，还是真会动脑子换个思路。没有这种刁钻测试，所有厨师看着都差不多“熟练”，真正懂变通的那个永远被埋没。

六维推理分类，把“动脑子”拆到65种具体任务

RISEBench++最核心的贡献，是把“推理能力”这个含糊概念拆成了六个维度：时间推理、因果推理、空间推理、逻辑推理、反事实推理，以及把几种混着用的混合推理。

这六类又能归入三种“动脑子”的方式。时间推理和因果推理属于知识驱动型，意思是只要掌握相关常识或专业知识，不用绕太多弯就能推出答案。比如“画出三小时后沙漏的样子”，懂点物理常识，一步就想明白了。

空间推理和逻辑推理属于感知驱动型，这类任务要求模型先从图里“看懂”隐藏的空间结构或规律，再基于这个理解去推导答案。比如给你几组输入输出的图案变化示例，让你总结出规律，再套到一张新图上。这比单纯查知识库难多了，规律得自己从图里找。

反事实推理归为想象驱动型，模型得一边调用现实知识，一边故意打破它，构造一个“不可能但说得通”的场景，比如“画出摩托车装了方形轮胎会是什么样”。

最后的混合推理，是把前面几种串起来做多轮编辑，一步步推进，每一步还得保证画面连贯。

六大类往下再分12个子类，再往下是65种具体任务类型。拿时间推理举例，下面有“常识性知识”（比如生命成长、物品老化）、“情境知识”（比如从图里的时钟读出时间，推算之后的状态）、“学科知识”（比如化学反应、天文现象）三个子类。这么层层细分，研究者就能精确诊断出一个模型究竟哪项具体能力不行，而不是笼统丢一句“推理能力一般”。

这种分类有点像医院的体检报告。体检不会只给你一个“健康”或“不健康”的总分，而是分出血常规、肝功能、心电图各项指标，一项项单独打分。医生才能告诉你问题出在哪，是肝有点脂肪，还是血脂偏高。只给个笼统总分，你连该挂哪个科都不知道。RISEBench++对AI模型做的正是这种精细体检，而非一刀切的笼统打分。

1000道题，是题库最后的规模：中英文版本各一套，时间、因果、空间、逻辑四类分别200题，反事实与混合两类各100题。设置上不止能喂单张图，多图输入、多轮对话式编辑同样跑得通，同类评测里算覆盖得比较全的。

三把尺子：指令推理、外观一致性、视觉合理性

题库有了还不够，打分标准也得跟上。研究团队定了三个评估维度。

第一个是指令推理（Instruction Reasoning），看模型是不是真理解并执行了指令里的显性要求和隐性逻辑。第二个是外观一致性（Appearance Consistency），看改图之后，没要求改的部分有没有莫名其妙跟着变。第三个是视觉合理性（Visual Plausibility），看改动的地方自不自然，有没有扭曲、模糊这类瑕疵。

这三把尺子怎么用？研究团队先请真人专家打分，立下评判标准，再训练一套“用AI裁判AI”的流程（LMM-as-a-Judge），让大模型自动打分，省掉大量人工成本。

LMM-as-a-Judge*：让一个能力足够强的多模态大模型来当裁判，给另一个模型产出的图片打分，用这种方式顶替成本高昂的人工评测。

问题是，机器裁判到底靠不靠谱？团队为此做了一组人类对齐实验：取100个样本，收集Nano Banana Pro和Qwen-Image-Edit-2511两个模型生成的200张图片，请四位人类标注员分别打分，再拿去和各类候选AI裁判模型的结果比对。

比对下来，Gemini-3-Flash在指令推理和外观一致性两项上与人类评分最贴近，平均绝对误差（MAE）分别只有0.48和0.58，斯皮尔曼相关系数（衡量两组数据排序一致性的指标）达到0.84和0.61。视觉合理性这一项倒是由更轻量的Gemini-3.1-Flash-Lite对齐得更好，误差仅0.27。团队据此定下方案：前两项交给Gemini-3-Flash，最后一项用成本更低的Gemini-3.1-Flash-Lite，准确性和效率都照顾到了。

这套做法很像阅卷时的双盲抽检。一个阅卷老师的尺度不能全信，得先拿一批样卷，让他和权威专家同时打分，吻合度够高，才敢把剩下几千份卷子交给他。少了这道校准，机器给出的分数可能遵循完全另一套逻辑，拿一把不靠谱的尺子去量58个模型，结论都立不住。

58个模型大乱斗，最强选手也只拿到56.6分

尺子立好，接下来就是实打实地测。团队一共评测了58个视觉编辑方案：19个闭源模型、34个开源模型，另有5个带“智能体”色彩的代理方法。

最抓眼球的是，成绩最好的GPT-Image-2.5 Sunburst，总体准确率也只有56.6%。放到2026年这个时间点看，这个数字相当刺眼——即便是当前最顶尖的商业模型，面对这套题，及格线都没摸到一半以上的把握。换句话说，“推理式图像编辑”这件事远没有大家以为的那么成熟。

具体排名上，Nano Banana Pro和Nano Banana 2分列二三名，准确率分别为54.6%和50.8%。开源阵营里表现最好的是HunyuanImage-3.0-Instruct，仅23.0%，与闭源第一名相差33个百分点，差距相当巨大。

分门类看，差异更有意思。GPT-Image-2.5 Sunburst这类强模型在时间、因果、空间、反事实推理四类上分别能打到67.5%、69.0%、64.0%、72.0%，表现都不错；可一碰到逻辑推理和混合推理，分数直接腰斩，只剩27.0%和39.0%。Nano Banana Pro因果推理能拿71.0%，逻辑推理和混合推理却只有36.0%和38.0%。

规律由此浮现：能靠“查知识库”解决的问题，现在的模型基本手拿把掐；一旦要模型自己从图里发现隐藏的规律，再套用到新场景，难度就陡然上升。

这好比让学生去考试，背诵默写题能拿满分，因为考的是记忆。可题目换成“给你几道例题，自己总结规律，再去解一道没见过的新题”，正确率立马掉下来——这靠的不是记忆，是真正的归纳推理。而现在的AI模型，恰恰最薄弱的就是“归纳”这一环。

团队还统计了三个评估维度各自的平均分并绘成图表，结果很扎心：大部分模型的视觉合理性（画面清不清晰、自不自然）得分都挺高，外观一致性（没改的部分保没保住）也不错，唯独指令推理拉得稀烂，模型之间的差距也最大。说到底，当前这波模型的瓶颈已经不是“画得好不好看”，而是“到底该不该这么画、改哪里”。这是个重要信号：接下来的研究方向该聚焦推理能力，而不是继续卷生成画质。

RISE-Agent：给AI装上“先想清楚再动手”的脑子

推理既然是瓶颈，研究团队没有止步于发论文吐槽，而是动手做了一套叫RISE-Agent的系统，想用工程手段把这个短板补上。它的设计思路分三步：规划者（Planner）、执行者（Executor）、验证者（Verifier），首尾相接形成一个闭环。

规划者先分析图片和指令，判断任务能不能靠常识直接推出答案。需要额外专业知识，就去联网搜索；问题若能转化成结构化的计算任务，比如最短路径搜索、数独求解、坐标几何运算，规划者还能调用七种专门写好的代码工具算出精确结果，而不是凭感觉瞎猜。

所谓智能体（Agent）*，指的是这样一类 AI 系统：它能自行判断问题、调用工具、动手执行，还会依据反馈调整做法，等于给模型配上了“手脚”和一套“决策流程”。

计划定完，执行者负责把它变成实际的图片操作。这里有个很聪明的设计：执行者不只会用生成模型去“画”，还配了一套包含12种确定性操作的编程工具箱，能画直线、画多边形、改文字、改颜色、挪动内容。为什么要这么麻烦？纯生成式的编辑模型经常“手滑”，你只让它改一个小格子的颜色，它可能把周围像素也一起改了；对涉及精确几何图形、符号标注的逻辑推理任务来说，这种误差是致命的。用编程工具直接在画布上精确操作，未触碰的像素完全不变，生成模型“手抖”的问题从根本上被避开了。

执行完毕，验证者登场，检查这次生成有没有满足指令要求、背景是否被破坏、画质好不好。依据检查结果，验证者会在三种动作里选一个：通过、局部修复，或者打回重新规划。只是小瑕疵，它就给出一条简短的修正指令，并决定用生成式方法还是编程工具去修；若是发现推理方向从开头就错了，直接打回让规划者重新想。

整套流程放到装修里，很像一套"监理制度"。只找一个施工队按图施工就完事，图纸本身理解错了怎么办？得先有设计师读懂需求、画出施工图（规划者），施工队照图精确干活（执行者），再有监理逐项检查，发现瑕疵就让工人返工，发现图纸设计错了就打回去重画（验证者）。少了监理这一环，施工队很可能抱着错误的理解，兢兢业业把房子盖歪，而且盖到最后才发现，返工代价更大。

效果怎么样？研究团队做了消融实验（逐个去掉组件看变化），底座是FLUX.2 Klein 9B，什么组件都不加时总分只有12.9%。加上规划者，总分直接跳到40.5%，涨幅相当惊人，时间和因果推理这两类提升最明显。这说明不少失败案例的根子不在"画不出来"，而在模型根本没想清楚"该画什么"。规划者把"想清楚目标状态"和"真正动手去画"拆成两件事，生成模型的负担就轻了。

再叠加编程工具，总分升到42.6%，逻辑、因果、反事实推理这几类都有明显提升。有意思的是，时间和空间推理这两类反而略微下降。这也不难理解：这两类任务大多是对自然照片做编辑，编程工具那种硬邦邦的操作不适合处理自然场景的细腻变化，容易留下不自然的痕迹。

最后加上验证者反复检查和修正，总分涨到48.0%，六个类别里有五个拿到组内最佳。只有空间推理提升有限，研究团队推测是验证者本身对空间关系的理解也有限，好比监理自己对某个专业领域不太懂，深层问题就查不出来。

整体看，RISE-Agent最终总分48.0%，还是没超过GPT-Image-2.5 Sunburst的56.6%，但已经压过绝大部分闭源商业模型，也远超其他同类智能体方案（比如MindBrush只有21.8%，IntentEdit只有13.2%）。要知道RISE-Agent完全不需要额外训练（training-free），底层只是一个开源的FLUX.2 Klein 9B模型，这个成绩相当能打。

研究团队还把它放到另一套叫KRIS-Bench的评测体系上跑了一遍，看它是不是只对RISEBench++这套题"开小灶"。结果RISE-Agent拿到88.12分，超过所有开源模型，也超过其他智能体方法，说明"先想后画再检查"这套思路有一定泛化能力，不是单纯的应试技巧。

从具体案例看模型的"软肋"

论文里放了不少直观的对比案例，挺能说明问题。比如有一道题，让模型根据第一张图里的当前视角（埃菲尔铁塔的实拍照片），在第二张地图上标出摄像机的大致位置。

这个任务要求模型先读懂照片里的空间线索（铁塔的朝向、远近），再到地图上做空间定位，是典型的空间推理任务。几个模型表现参差不齐，RISE-Agent能比较准确地定位出位置。

"开关灯游戏"是另一道逻辑推理题：每点一个格子，它自己连同上下左右共四个相邻格子的状态都会翻转，题目要求推算出点击后整个网格怎么变，再把变了的格子用绿框圈出来。Qwen-Image-Edit-2511的表现是几乎整张网格都被它改了一遍，规则显然没吃透，更像在照搬某种视觉风格的变化。RISE-Agent则只动了真正该变的那几格——编程工具在背后做精确计算，不靠生成模型去猜。

混合推理这类任务最容易露馅。论文里有个例子，连着三步操作：画出时钟一小时后的样子，把整个时钟旋转180度，再让分针顺时针转3600度。多轮编辑最怕误差累积，前一步画歪，后面就全跟着偏。Qwen-Image-Edit-2509和HunyuanImage-3.0在这项任务上都出现了明显的画质退化，越往后越失真、越糊。多轮推理编辑的误差不只攒在"推理"这一层，还会攒在"视觉再生成"这一层，这个维度比单次编辑难得多。

几个案例摆在一起，规律挺清楚：任务越要求从图里精确"读出"信息、再精确"执行"到画面上，现有模型越容易翻车；反过来，靠常识就能脑补的任务，大部分强模型都还应付得来。

写在后面

论文读完，那堆模型排行榜没怎么留住我，真正让我停住的是那张三维度对比图背后的信号：AI图像编辑的瓶颈已经从"画得好不好看"挪到了"该不该这么画"。这个转折值得琢磨。这两年行业叙事几乎全在卷生成画质、卷分辨率、卷细节还原度，可论文拿58个模型的实测数据说明，画质这条赛道已经卷得差不多了，各家视觉合理性得分普遍不低。真正拉开差距的，是最朴素的"理解力"。

还有个细节可以单拎出来说。RISE-Agent不用额外训练，只给一个开源模型套上"先规划再执行再检查"的流程，总分就从12.9%干到48.0%，涨了接近四倍。很多模型失败，根子可能不在生成能力弱，而在压根没有"先想清楚再动手"这一环。人做数学题也不是提笔就写答案，得先在草稿纸上画图、列式子，思路理顺了再往卷子上誊。AI模型跳过"打草稿"这一步，从指令直接跳到图像，出错概率自然高。这或许指向一个更大的方向：未来的多模态模型，可能真得把"显式推理"当成一个独立模块来设计，而不是指望端到端生成能力自己悟出一切。

逻辑推理和混合推理这两项得分偏低，让我不得不多想一层。它们有个共同点：模型得先从画面里"归纳"出某种隐藏的规律或状态，再把这个规律套到新场景中去。归纳恰恰是人类智能里最要紧、也最难被学走的那部分——它不是记住，而是要建立抽象的联系。如果AI在这件事上一直偏弱，那就说明它眼下更像个博闻强记的知识库，还算不上真正会思考的系统。这道坎下一代模型能不能迈过去，现在谁也说不准。

Q&A

Q1：RISEBench++这套东西是干什么用的？它是一套评测体系，专门测AI图像编辑模型的"推理能力"，共1000道中英文双语题目，涵盖时间、因果、空间、逻辑、反事实、混合6个推理维度。说白了，就是看AI改图时到底有没有动脑子，还是只会照着指令机械操作。

Q2：眼下哪个AI图像编辑模型最能打？这次评测中，GPT-Image-2.5 Sunburst以56.6%的准确率排在首位，58个被测模型里数它最好。可就算是它，准确率也没迈过60%，推理式图像编辑离成熟还差得远。

RISE-Agent又是什么，跟普通的AI改图模型差在哪？这是论文团队自己搭的一套智能体系统，不需要额外训练，由规划者、执行者、验证者3个部分组成：先分析指令该怎么改，再用生成模型或精确编程工具去做，最后自动核对结果、把错的地方修掉。它的整体表现超过了大部分商业闭源模型。