AI生图为何要在噪声空间反复迭代？数据空间迭代给出新解法

一张AI生成的图片，是怎么从满屏随机噪点变成一只蓝色小鸟的？

目前主流的生成模型，比如Flow Matching流匹配模型，思路看上去挺优雅：从纯噪声起步，顺着一条数学上连续的"流"，一步步走到真实图片。理论上这条路无限平滑，可现实很骨感，真要走完往往得算几十次甚至上百次。打个比方，从北京到上海，理论上可以一步一步量着走过去，可谁真会这么干。

研究者于是想到了蒸馏：把这条漫长的路压成一步或几步走完。听着很美，但一步到位的代价是画质打折、细节发糊，像被压缩过的照片。所以现实中大家更愿意接受"少数几步"，比如四步，拿它当速度和质量之间的平衡点。

那问题就来了：这几步究竟该怎么走？

**现有方法的几步生成，都绕不开一个固定的"时间表"**

眼下的少步生成方法，不管玩什么花样，本质上都是在流匹配定义的那条"概率流"路径上做文章。

流匹配*：训练生成模型的一种路子，核心是学会把随机噪声一步步变成真实数据（例如图片），而这一转变过程在数学上被当成一条"流"来看待。

落到具体操作，大致分两派。一派叫"流-加噪迭代"：模型先预测出一张干净图片，再往这张图里掺回一些噪声，把它变回某个中间噪声状态，然后交回模型继续预测，如此反复几次，直到噪声彻底去掉。另一派叫"流-映射迭代"：模型直接学从一个噪声时间点跳到下一个噪声时间点的映射关系，不必先还原干净图片再加噪。

两派有个共同的前提：你得先把一张"时间表"定好，也就是去噪过程要经过哪些具体时间点，比如1.0、0.75、0.5、0.25。

这张表怎么定？说实话，很大程度上靠拍脑袋，或者靠大量试错搜出来。更麻烦的是，如果训练方式是"自我滚动"（模型拿自己上一步生成的结果，当作下一步的输入来训练自己），这张表就必须在训练开始前固定死，不能等训练完了再调。换一张表，基本等于要重新训一个模型。

自我滚动蒸馏*：训练少步生成模型的一种手法——模型拿自己前几步产出的结果当输入，用来学习后续步骤该怎么走；这样练出来的模型，更会"自己纠正自己"。

这就像你要修一条从家到公司的通勤路线，路线图必须出门前就画好。画错了，走到半路发现堵车也没法现场改，只能回家重新规划一条再走一遍。要是你的工作地点经常变（不同的生成任务、不同的图片内容），那每次都得重新规划整条路线，成本高得吓人。

研究者们开始怀疑：这张"放之四海而皆准"的时间表，真的存在吗？

不同的图片，复杂程度天差地别。一张纯色背景、单一物体的照片，和一张花纹复杂、细节密布的照片，需要的"修正力度"显然不一样。同一张图里不同区域也一样，比如天空和羽毛的纹理，要求的精细程度就不同。可现有方法用的是一张全局统一的时间表，所有图片、所有区域都被迫按同一个节奏走。这就像让所有学生，不管基础好坏，都必须用同一张课程表、同一个进度学完一门课，显然不是最优解。

**数据空间迭代：把"时间表"这件事直接扔掉**

研究团队提出的思路，叫做数据空间迭代。

数据空间迭代*：少步生成的一种做法。它不走"概率流"那条路、不按时间点迭代，而是直接待在"图片本身"这个空间里一遍遍修正预测；每一步的起点是上一步生成的图片，并非某个带噪声的中间状态。

具体怎么做？整个流程很干脆。起点是随机噪声，先初始化一个全零的"图片估计"——可以想成一张什么都没画的空白画布。接着由一个共享的生成器反复刷新这张画布：每一轮，生成器先看当前画布是什么样，再结合最初的噪声，直接给出更好的图片，而这张新图又变成下一轮的起点。全程既没有"往图片里加噪声再去噪"，也不构造任何中间时间点的状态。

有个细节很关键：每一轮刷新，生成器都清楚自己是第几遍。研究者给它加了一路"轮次编号"输入，让它知道眼下是第一次修正、第二次修正，还是第四次修正。于是生成器能按轮次换修正策略，不必每轮都套同一个打法。

这有点像画家对着一幅画反复打磨。头一遍落笔，先把大轮廓和色块铺开；第二遍调光影、改比例；第三遍抠细节，比如鸟喙的高光、羽毛的纹理。画家心里有数自己画到第几遍，所以每遍的笔触和注意力都不同。反过来，如果每遍都从头重新构图、重新上色（就像加噪再去噪那样，把已经画好的部分抹掉重来），前几遍打磨出来的东西就全废了，工反而更费。论文里的实验数据也印证了这点：研究者量了相邻两步生成图片之间的差异，"流-加噪"方法第一步到第二步的平均变化量达到82.72，数据空间迭代则只有59.65；到第三步，两者的差距进一步拉大（29.91对35.98的变化趋势也说明，数据空间迭代在后期更偏精修，而不是推倒重来）。这些数字说明的是，"流-加噪"在迭代中常把画好的内容大幅推翻重画，数据空间迭代则更愿意在已有基础上做小幅修正。

这个设计解决的矛盾很根本：固定时间表强迫所有样本按统一节奏推进，数据空间迭代则把节奏的选择权交还给模型自己，让模型根据当前画布的状态自主决定下一步该精修哪里、改多大幅度。

**训练这套系统，几乎不用改动现成的工具箱**

研究团队没有另起炉灶搭一套训练体系，而是在一个已被广泛验证的框架上做最小改动，这个框架叫分布匹配蒸馏。

分布匹配蒸馏*：简称DMD，训练少步生成器的一种方法。它借助两个辅助"流模型"——一个是真实的，一个是模仿生成器当前输出分布的"假"模型——用两者预测之间的差异给生成器指更新方向，使生成器产出的图片分布逐步靠拢真实数据分布。

DMD原有框架由两部分组成：一个预训练好、固定不动的真实流模型，外加一个专门追踪生成器当前输出分布的辅助假流模型。这套机制研究者原封不动留着，动的只有生成器"滚动"的那一步——过去是在概率流空间里逐步挪动，如今换成了在数据空间里直接修正。其余环节，损失函数的核心形式也好，训练的轮换方式也好，统统照搬。

这种"只动一处"的做法本身就有讲究。为什么不索性另起一套全新训练体系？问题在于，训练框架和迭代方式一起换，实验结果就说不清了——成绩好到底归功于新框架，还是新迭代方式？做实验得控制变量：烤箱品牌和面粉种类同时换，蛋糕好吃了，你分不清是谁的功劳。框架不动、只换迭代方式这一个变量，"数据空间迭代"的价值才能被干净地证明。

生成器那边的实现同样有巧思。研究者没另外搭新网络，而是拿现成的预训练速度预测网络直接改。这个网络原本接收一张带噪声的图片加一个时间点，输出该时刻的"速度方向"；现在多开一个输入通道，用来接"当前画布状态"，再挂一个"轮次编号"的小标签，同时把原来的时间点输入固定为常数。噪声减去网络预测的速度，就是新一轮的画布估计。改动小，新增参数几乎可以不计；甚至因为砍掉了原先处理时间点的一个小模块，总参数量还比原模型少了一百多万个。

**实验怎么测,结果说了什么**

对比实验在ImageNet 256×256这个经典图片生成测试集上系统展开，"老师"用的是预训练好的SiT-XL/2流匹配模型。评价指标为FID分数，分数越低，生成的图片在统计特性上就越贴近真实照片。

Fréchet Inception Distance*：缩写FID,一种衡量AI生成图片质量的指标,通过比较生成图片和真实图片在特征空间里的统计差异来打分,数值越低说明生成效果越逼真。

所谓分类条件生成，就是生成图片时给定一个类别标签（例如“金翅雀”或“鸵鸟”），模型产出的图必须对得上这个类别，不能毫无约束地随意出图。

结果摆在明面上。不开额外引导技术、四步生成时，传统"流-加噪"方法的FID为2.75，"流-映射"为2.55，数据空间迭代拿到2.46，三项里最低。就算给传统方法开后门，允许它们从三种时间表里挑最好的结果，流-加噪最好也就2.72，流-映射最好2.48，数据空间迭代的2.46仍然压过一头。再开启经典的分类器自由引导技术，数据空间迭代四步生成做到2.29，还是所有方法中最低的。

分类器自由引导（CFG）是一种技巧：它在生成过程中放大“条件信息”的作用力，做法是对比有条件与无条件两类预测，把条件对生成内容的引导效果加以放大，使结果更贴近所指定的类别或描述。

这里有个挺有意思的现象：无论数据空间迭代还是传统方法，蒸馏出的几步生成模型在不开引导时，效果反倒都强过那个要跑250步的原始"老师模型"。老师模型FID为8.26，学生模型最低做到2.46，中间差了整整六个点。研究者猜这和DMD所用损失函数的"模式寻找"特性有关——它天生倾向于把生成结果聚拢在高质量的典型样本附近，而不像老师模型那样铺开覆盖整个数据分布，代价是拿多样性换更稳的质量。这算是顺带捡到的副产品，并非这项研究刻意去追的目标。

论文里的消融实验做得相当细。训练时不同噪声强度怎么分配权重，研究发现重要性采样（按某个分布直接抽训练样本，而非均匀抽样再加权）比传统加权方式更管用，原因是每个批次的样本都用在了刀刃上，不把算力浪费在不重要的样本上。再看优化器的动量参数，一阶动量系数设为0反而更好，这个结论有点反直觉——常规训练里大家默认动量有助于收敛稳定，可在这个场景里去掉它结果更干净。研究者还试过加"最优传输"正则项，想让每一步修正更一致、更快收敛到固定点，结果非但没帮忙，FID还略微变差，这个尝试最后被放弃。

这几个消融实验指向一个朴素却常被忽略的道理：不少听着"理论上该有用"的设计，搬到实际场景里未必站得住，得靠扎实实验去验证，直觉替代不了实验。

**可视化上能看出什么**

论文附上了生成过程的可视化对比。数据空间迭代从第一步走到第四步，整体结构大体稳住，后续步骤主要在打磨细节——鸟的羽毛纹理由模糊渐渐清晰，背景里的噪点逐步退去。"流-加噪"的中间过程则动荡得多，前几步生成的内容可能和最终结果八竿子打不着：有时第一步还是一片模糊色块，第二步突然冒出鱵鱼的轮廓，内容在迭代中大幅跳变。

原因并不难理解。加噪操作说到底是把当前预测的图片跟一批新随机噪声按比例混合，这一混，连已经预测正确的区域也被掺进噪声；下一步生成器得从"半新半旧"的状态重新预测一遍，等于给画好的部分又蒙上层雾，逼自己重新辨认。好比文章草稿被审稿人要求跟一堆随机单词混在一起，再从这个混合文本里重新理出文章——原意可能保住一些，但也很容易被噪声带偏，写出完全不同的东西。数据空间迭代跳过这道混合，上一轮画布原样交给下一轮，内容的连续性自然更好。

**这个方法目前还有哪些局限**

论文也如实交代了方法边界。数据空间迭代依赖自我滚动训练：项目本来就要用自我滚动方式训练，那采用它不会多出额外成本；可要是项目更偏向传统的、基于真实数据与噪声配对的训练方式（非自我滚动），眼下还没有更高效的训练方案，这块空白留给后续研究。

眼下论文做的实验，大多集中在ImageNet这类比较标准的图片生成任务上。附录里还补了一组CIFAR-10小数据集的验证，说明模型更小、任务更简单时这套方法照样管用——四步生成FID达到8.62，传统流-加噪方法则是10.03。至于把思路搬到文生图、视频生成这些更复杂的场景，论文写得很直白：留给以后做。

Q&A

Q1：跟传统的少步生成办法比，数据空间迭代最不一样的地方在哪？

A：传统做法是在“概率流”这条路径上一步步走，去噪的每个中间环节都得靠一张事先定死的时间表来安排。数据空间迭代不走这条路，它直接在图片自身的空间里反复修预测结果，那张时间表根本用不上，每一步都是拿上一步生成的图片做精修。

Q2：数据空间迭代实际效果如何，有没有数据能说明问题？

A：ImageNet 256×256的测试里，四步生成时它的FID是2.46；传统流-加噪方法为2.75，流-映射方法是2.55。就算让传统方法在多种时间表里挑出最优的那份，成绩还是比数据空间迭代差一点。

Q3：这套方法训起来麻不麻烦，是不是得把整个系统重新搭一遍？

A：不用。研究团队在现有的分布匹配蒸馏框架上只动了很小的手脚：生成器的迭代从概率流空间挪到数据空间，训练流程没变，损失函数的核心形式也照旧，算力和内存的开销几乎没有增加。