商汤港科大新方法:四次编辑同画布,多轮改图不糊了
你用过那种能"一句话改图"的 AI 吧。上传一张照片,打一行字,比如"把背包换成深蓝色",几秒后一张新图出来了,改得还挺准。第一轮很爽。第二轮也还行。等你连着改到第八轮,事情开始不对劲了。人物的脸慢慢变形,天空里冒出一堆不该有的斑点,草地变成了一团模糊的绿色噪点。你明明每一步都只让它改一个小地方,可它每次都...
一句话改图的 AI,不少人应该都用过。传一张照片上去,敲一行字,比如“把背包换成深蓝色”,等几秒新图就出来了,改得还挺准。
头一轮很爽,第二轮也还行。连着改到第八轮,事情就开始不对劲了。人脸慢慢变形,天上冒出一堆不该有的斑点,草地糊成一团绿色噪点。每一步明明只让它动一个小地方,它却每次都要把整张图重新画一遍,而每重画一次都会悄悄带走一点东西。八次下来,画面已经成了另一张照片。
学术上这件事有个名字,叫视觉质量漂移*。
> 视觉质量漂移(visual-quality drift):多轮连续编辑时,每轮都把上一轮产出的图像当作输入、整张重画,细小的失真、纹理变差和细节缺失就会一轮轮叠加放大,最后出来的图在风格和质感上都跟原图差得很明显。
这不是哪个模型的 bug,问题出在“流水线式重绘”这条技术路线本身,是它自带的结构性缺陷。商汤研究院和港科大 MMLab 等团队最近有一篇工作,盯的就是这个。他们的答案是:别再一张接一张往下滚,想办法让四次编辑的结果在生成那一刻就同时落在同一张画布上。
先说说难点到底在哪。
多轮图像编辑有两类做法。
一类是单步编辑*,每轮只把“上一张图 + 这一轮的要求”交给模型,前七轮发生过什么,模型并不知道。另一类是上下文感知编辑*,整个编辑历史模型都看得见,包括此前所有文字指令和所有中间图像。
> 单步编辑(step-wise editing):每一轮编辑只依赖上一轮输出图像和当前指令,不显式使用更早的历史信息。
>
> 上下文感知编辑(context-aware editing):模型同时考虑历史文本指令和历史图像状态,在连续上下文中生成目标图像。
第二种听着更聪明,可真正难办的偏偏是第一种的训练数据。为什么?
要训练模型做八轮编辑,先得有一批“八轮编辑的正确示范数据”。这批数据从哪来?业界最常用的办法是顺序展开*:挑一个强大的闭源模型,让它改第一刀,截图;再改第二刀,再截图;这样滚八次。
> 顺序展开(sequential rollout):上一轮生成的图直接拿来当下一轮的输入,同一个编辑模型被逐轮调用,一条多轮编辑轨迹就这样自动累积出来。
毛病就出在“直接当作下一轮输入”这一步。每一轮的输入本身已经带了点瑕疵,模型在这点瑕疵上接着创作,瑕疵就被当成真实内容继承下来,再叠上新的瑕疵。误差不是线性增长,是滚雪球。
论文里那张对比图很能说明问题。同一张黄昏海滩照片,按顺序展开滚八轮,第四轮地面就开始冒出细碎噪点,第八轮整片沙滩的质感彻底崩了,像被撒了一层沙子。换成他们提出的新方法,第八轮和第一轮的画面质感几乎一样。
第一个反直觉的地方就在这里:**不是模型不够强,而是数据生产方式本身给模型喂了有缺陷的示范。**
有人可能会想,换更强的闭源模型做顺序展开不就行了?论文里的数据否定了这个想法。Seedream 5.0 Lite、GPT Image 2、Nano Banana 2 三个顶级模型分别做顺序展开,八轮之后画质评分分别掉到 3.51、3.83、3.70。第一轮大家都在 4.28 到 4.32 之间,起点几乎一样,终点全掉了下来。
**模型再强也逃不掉误差累积,因为累积发生在数据里,不在模型里。**
核心方法:让四次编辑在一个屋檐下长大
### PTC:一张画布装下四次编辑
论文的核心提议叫打包轨迹画布*。名字有点绕,意思很直白:不生成四张独立的图,而是让模型一次生成一张 2×2 的网格图,四个格子分别对应四次编辑之后的累积结果。
> 打包轨迹画布(packed trajectory canvas,PTC):一次生成调用产出的 4K 方形画布,按 2×2 布局容纳四次编辑各自的累积结果,每个子图约 2K 分辨率。
关键在“共享视觉上下文”这几个字。一个生成过程里同时画出四个格子,左上角的天空和右上角的天空就没法长得不一样,因为模型是在同一个连续的潜空间里作画。这个约束本身,就成了对抗漂移的护栏。
**传统做法里,四张图是四个独立的世界;PTC 里,四张图是同一个世界的四个瞬间。**
不妨换个场景想:你要盯着一盆绿植的生长,每个月给它拍一张照。
若按顺序一步步来,第一个月先拍一张;第二个月把上月那张照片打印出来,搁到花盆跟前再拍一张;第三个月再打印第二张……如此拍到第八个月,你手里就是一张“照片的照片的照片”,画质逐层打折,反光、色偏、摩尔纹全叠在一起。每张新照片里,上一张照片还占去一块画面,构图也越来越别扭。
PTC 换了个打法:一次拍成一张四宫格,四个格子依次是第一个月、第三个月、第五个月、第七个月的样子。同一盏灯、同一个机位、同一天拍完,四格的光线和质感自然一致。
不这么做会怎样?拿到的就是前面那堆“照片的照片”。越往后越难补救,因为误差已经写进输入里了。
工程上还捡了个便宜:一次生成调用就拿到四个编辑状态,调用昂贵闭源模型的次数因此大幅下降。效率算是白得的。
### 数据是怎么造出来的:三步流水线
PTC 本身只是个概念,落地要靠一整套流程。论文图 2 把它画得很明白,一共三步。
**第一步,筛选种子图像。**
候选图从 LAION、Open Images、DenseFusion 这些公开图库里捞,再用两条硬杠杠过筛:短边不低于 1024 像素;再让 Gemini 3.1 Pro 打美学分,满分 10 分,必须到 8 分以上。这一步图的是源头干净——起点要是张糊图,后面分不清退化是编辑弄的,还是原图本身就那样。
**第二步,生成 PTC。**
先让视觉语言模型看源图,规划出四步连贯的编辑方案,顺带写一份 PTC 提示词。提示词里四件事得写死:四个格子各自对应第几轮、每轮具体改什么、后面轮次要保留前面全部改动、四格严格等分且不留缝隙和边框。
随后把这份 prompt 连同源图交给闭源图像编辑模型(GPT Image 2 或 Nano Banana 2),产出一张 4K 的 2×2 画布。
这里有个细节:每个子图大约保住 2K 分辨率,切下来仍够训练用。换成 3×3 布局的话,模型得同时维持九个格子的视觉一致和编辑语义,生成难度陡增,画质和跨格一致性都会明显掉下来。论文因此默认用 2×2。
**第三步,把 PTC 转成多轮轨迹。**
画布要变成训练样本,还得过四道工序:
- 用 Gemini 3.1 Pro 剔掉失败案例,比如格子之间内容串了,或者模型索性把画布画成了九宫格
- 再用 Gemini 3.1 Pro 比对源图和相邻格子,把每一轮的用户指令倒推出来
- 按 2×2 切图,每个格子就是那一轮的编辑目标
- 靠 SIFT 特征匹配加图像形变,做像素级对齐
最后这道工序常被忽略,其实很要紧。生成模型画出的四个格子,物体位置会有轻微抖动;不做对齐的话,训练时模型会以为“这一轮除了改背包颜色,还得把整个人往左挪两个像素”。SIFT 匹配加形变,修的正是这种非语义位移。
**倒推指令这步不做会怎样?** 那你手上只有一堆图像对,没有文字指令,模型学不会“人话和视觉变化之间的对应关系”。指令是从图里反猜出来的,所以它描述的必定是真实发生的变化,而不是模型以为发生的变化。
这里有个数字能看出规模:50 万条轨迹,269 万个编辑对。平均 5.38 轮,最长 8 轮。这个体量在同类数据集里断层第一,此前的 Pico-Banana-400K 只有 7.7 万条轨迹,ImgEdit 11.5 万条,MagicBrush 才 3 千条。
编辑的四种脾气:把“多轮”拆开来看
论文有个处理我觉得挺有意思:它没把多轮编辑当成单一的一件事,而是拆成四种不同的认知需求。
单步编辑算是最基础的一类,占整个数据的 56%。它每一轮只盯着上一张图和当前这条指令,不牵扯更长历史。
余下 44% 归为上下文感知编辑,共三类,各自考的东西并不相同。
第一类是持续约束编辑,占 7%。比如开局你要求“把盾牌改成亮银色,之后所有新增或修改的元素都要用这个银材质”,接下来几轮模型都得把这个约定记牢。
第二类叫文本指代编辑,占 25%。第一轮说“把左边那个花瓶改成蓝色”,第二轮说“给它加一圈金边”——“它”到底指谁,模型要自己从上下文里推出来。
第三类是短指令编辑,占 12%。开头把要改什么讲清楚,后面就只剩“再亮一点”“再大一点”“再亮一些”。这里考的是模型能否理解渐进式的程度调节,而不是把“再亮一点”当成一个全新的独立任务。
这样拆分是有道理的。三种能力失败起来形态完全两样:持续约束失败是“忘了约定”,指代失败是“改错了对象”,短指令失败则是“改不动或者改过头”。
定性对比里能看得很清楚。持续约束这一项,BAGEL 和 Emu3.5 在后几轮把银色材质约定彻底忘了,改出来的东西又变回原色。文本指代这边,好几个模型把“给它加叶子”的叶子加到了旁边另一个水果上。比如那个青柠的场景,Emu3.5 和 Bagel 在第二轮“把它的果皮变深绿”时,直接动错了水果。
说到底,多轮编辑不是一种能力,是四种能力的叠加。
论文还按内容把所有编辑归成两级:五个大类——物体结构、物体外观、场景构成、局部细节、氛围,往下再分 23 个叶子类别。数据集上有这个分类的分布图,覆盖面的确很宽。
评测这一环,不光看改对没改对,还要看有没有改坏。
数据有了,还得有尺子。论文的第二个贡献就是 MTEdit-Bench。
现有基准有两个毛病。一是太短,不少只测三轮,三轮根本测不出误差累积。二是只测“改得对不对”,不测“有没有改坏”。
MTEdit-Bench 分成四个子集。单步子集用 100 条八轮样本,专门测长链条下的表现;三个上下文感知子集各用 50 条四轮样本,测的是历史信息能不能用上。
指标一共三个。
第一个是指令遵循度,看这一轮要求改的地方动了没有。
> 指令遵循度(Instruction Following,IF):由视觉语言模型给“改前图、改后图、本轮指令”打分,0 到 10 分,判断改动是否完成、改动范围之外的内容是否被误伤。
第二个是内容一致性,看不该改的地方有没有被改。
> 内容一致性(Content Consistency,CC):给出序列的初始图、当前轮生成图和截至当前轮的全部指令,判断未被指令授权的区域是否保持稳定。
第三个是漂移鲁棒性分数,看画质有没有掉。
> 漂移鲁棒性分数(Drift Robustness Score,DRS):取 VisualQuality-R1 和 RALI 两个画质评价模型的均分,范围 0 到 5,专门衡量图像在反复编辑后是否出现质感退化。
有个设计我觉得挺讲究:某一轮的 IF 或 CC 一旦掉到 6 分以下,这一轮之后所有轮次的这两个分数就直接归零。
道理很简单,后面所有编辑都建立在一个错误的状态之上,再往后算分就没有意义了。
现实里改图改崩了也是这个逻辑:第八轮改得再好,只要第三轮把主角的脸改错了,整个序列已经废了。
DRS 不做这种归零。它衡量的是画质,不是任务的逻辑链条——画质崩了可以接着评,任务崩了就不能。
这套自动指标到底靠不靠谱,论文又用人工评估做了一次校验。Spearman 相关系数落在 0.82 到 0.92 区间,AI 打分流程给出的排序和人类判断高度吻合。
实验结果:赢了开源,输给闭源,但输得有道理
单步子集上挑几个关键数字看。第一轮,论文微调出来的 Qwen-Image-MTEdit 在 IF 上拿到 9.74,CC 为 9.54,DRS 是 4.23;跑完八轮,三项分别变成 7.45、6.42、4.33。
作为底座的 Qwen-Image-Edit-Causal,第八轮的成绩是 3.17、2.41、4.06。IF 从 3.17 涨到 7.45,翻了一倍还多——数据质量带来的差别就摆在这里。
DRS 这条线更能说明问题。Qwen-Image-MTEdit 第一轮 4.23,第八轮 4.33,不降反升,全程稳在 4.2 到 4.35 的窄带里。其他方法几乎都在往下掉。
| 方法 | 第 1 轮 DRS | 第 4 轮 DRS | 第 8 轮 DRS |
|---|---|---|---|
| Nano Banana Pro | 4.17 | 4.19 | 4.05 |
| Nano Banana 2 | 4.19 | 4.20 | 4.20 |
| GPT Image 2 | 4.22 | 4.20 | 4.17 |
| Seedream 5.0 Lite | 4.27 | 4.19 | 3.75 |
| Qwen-Image-Edit-Causal(底座) | 4.18 | 4.17 | 4.06 |
| **Qwen-Image-MTEdit(本文)** | 4.23 | **4.33** | **4.33** |
IF 和 CC 两项上,闭源的 Nano Banana Pro 仍然跑在前面,第八轮 IF 8.83、CC 7.51。论文没有回避这一点,原话是:"虽然在指令遵循和内容保持上不及最强的闭源模型,但在参与比较的开源方法中达到了最好水平。"这种老实交代,反倒让人更愿意信它。
三个上下文感知子集给出的结论差不多。持续约束子集里,模型第四轮 IF* 为 8.20,CC* 为 8.32,都排在开源第一,可相比第一轮的 9.70 和 9.80,下滑依然明显。论文的说法是"持续约束依然是一个有挑战的问题"。
这句轻描淡写背后是个真问题:模型能记住"要用银色",但记不稳八轮。
消融:证明了 PTC 本身就是功劳所在
论文做了一个很关键的对照实验。底座模型相同,训练预算相同,都是 1 万条八轮轨迹,唯一变量是数据来源:一批由 PTC 生成,一批按顺序展开生成。两边各训练 5000 步,再放到同一个测试集上比。
从第二轮起,PTC 数据的 IF 就领先了;CC 每一轮都领先;DRS 从第三轮开始领先,八轮全程稳在 4.17 到 4.26 之间,顺序展开那一组到第八轮掉到了 3.96。同样的模型、同样的训练量,只换了数据造法,结果就分开了。
图 5 里那只戴项圈的猫,很能说明问题。同样是第八轮,靠顺序展开数据训练的模型,猫脸和毛发上已经冒出明显的纹理伪影;换成 PTC 数据训练的模型,胡须和铃铛的细节都还在。没有这组对照,谁也说不清提升到底来自"数据量变大"还是"数据本身变好"——这个实验把变量锁死了。
PTC 流水线自己滚八轮,DRS 全程落在 4.27 到 4.30 之间。三个顶级闭源模型做顺序展开,第八轮分别掉到 3.51、3.83、3.70。差距不是零点几分,是半个多档次。
光有好数据还不够,底座模型本身也得改成能处理多轮输入的架构。模型改造的方向,就是让它能同时看很多轮。Qwen-Image-MTEdit 在 Qwen-Image-Edit-Causal 的基础上动了两处结构。
**第一处,块因果注意力*。** 所谓块因果注意力(block causal attention),是以"轮"为单位来组织注意力掩码:当前轮能看见之前所有轮的图像和文本,却看不见未来轮次,训练时的信息泄漏就被挡住了。
这个设计在训练上还带来一份红利。掩码是块状的,一条轨迹里的多轮目标能在一次前向传播里并行算完,不必像顺序展开那样串行跑八遍。推理阶段同样能复用 KV-Cache。
**第二处,三维交错旋转位置编码*。** 三维交错旋转位置编码(3D interleaved RoPE)的做法,是把图像 token 和文本 token 按时间顺序排成"[图]-[文]-[图]-[文]"的交错序列,再用位置编码标出每一段属于第几轮,模型就能分清哪句指令对应哪张图。
打个比方。整理一本手账时,每页左边贴照片、右边写说明;要是照片全堆一处、文字全堆另一处,翻起来就搞不清哪句话配哪张图。交错位置编码干的事,就是把照片和说明按时间顺序交替排好,还编上页码。不这么编码会怎样?模型看到"把它的果皮变深绿",却判断不出这个"它"是第几轮出现的那个物体,指代就失效了。文本指代编辑在很多模型上失败,一部分原因就在这里。
训练配置方面:AdamW 优化器,学习率 5×10??,权重衰减 10??,跑 20000 步,32 张 H100,每卡 batch size 1,bfloat16 混合精度。
这套方法的天花板在哪?论文自己列了三条局限,我觉得都挺诚实。
一是依赖闭源模型。整条流水线的画质上限,就等于所调用那个闭源模型的上限。用 GPT Image 2 还是用 Nano Banana 2,结果会不一样。
二是 PTC 生成本身会失败。四个格子之间偶尔互相串扰,比如上排的雪地场景把下排的草地也染白了,或者画面被画成带白色分割线的九宫格。这些都得额外过滤,而过滤是有成本的。论文给出的失败案例图很直观,红框标出的部分一眼就能看出问题。
三是每个 PTC 只能产出四轮。想要八轮,就得把最后一轮的输出当作新起点,再跑一遍流水线。长任务里依然存在一次性误差传递,只是频率从"每轮传一次"降到了"每四轮传一次"。真要做 24 轮的极长序列,画质漂移还会回来。
**这不是一个消除误差累积的方案,而是一个把累积频率降低四倍的方案。** 这个定位其实更准确,也更有价值。误差累积不可能被彻底消除,任何自回归式生成的系统都躲不开,能做的是控制它传播的粒度。
写在后面
真正值得琢磨的,是这篇论文背后透出的思路,而不是那个 2×2 画布。多轮编辑一直被视为“模型能不能连续推理”的问题,好像只要模型够聪明、上下文够长,前面改过什么它自然能记住。可论文给出的数据指向另一头:到第八轮出错,很大程度上得怪训练数据本身就是在掉链子的过程中造出来的——模型不过是在学数据里的坏毛病。
表面看,这是模型能力不够;往深里说,要解决的是数据怎么造出来的问题。
类似的做法在其他行当里也见得到。工业上做多道工序的精密加工,假如每道工序都拿上一道工序的成品当基准重新对刀,误差就会一层层叠加。常见办法是先定一个统一的基准面,所有工装都从这个面量起。PTC 扮演的就是基准面这个角色:四次编辑都从同一个原始状态出发,不用依次继承彼此的偏差。
论文里还有个细节让我比较在意:BAGEL 和 Lance 这两个模型到第八轮时,IF 和 CC 都归了零,DRS 却仍在 4.0 以上。换句话说,图本身的质感还过得去,任务已经彻底做崩了。画质指标和任务指标完全可以脱钩——模型把图改得漂亮却改错了地方,只看画质的评测照样会给它打高分。
这恐怕是各种自动评测都容易忽略的盲区。
这条路能走多远,我更好奇的是另一个问题:2×2 既然能把漂移压到可接受范围,3×3 又因为格子太小没成,那有没有一种非均匀的画布布局,比如 2×2 里格子大小不等,让关键的那一轮占更大面积、留住更多细节?又或者帧数一多,模型对这四个格子属于同一个世界的信念就开始松动?
答案我不知道。但直觉上,后一个问题的答案或许会决定这条路线真正的上限。
模型画出一张四宫格时,它究竟有没有这四个格子是同一时刻、同一个场景的意识?还是只当成四张风格接近的独立图片,碰巧落在了一块画布上?