很多人第一次听到扩散模型,是被「数学原理」四个字劝退的:前向加噪、反向去噪、时间步、噪声预测,看着像论文。可真要上手出图,又只需要搞懂几个开关和一条流程。这篇不谈花哨名词,只按「先建立直觉、再看公式对应什么、最后跑通一次生成」的顺序走一遍,顺手告诉你哪些环节最容易白忙。
很多人第一次听到扩散模型,是被「数学原理」四个字劝退的:前向加噪、反向去噪、时间步、噪声预测,看着像论文。可真要上手出图,又只需要搞懂几个开关和一条流程。
这篇不谈花哨名词,只按「先建立直觉、再看公式对应什么、最后跑通一次生成」的顺序走一遍,顺手告诉你哪些环节最容易白忙。
先把直觉立住:加噪为什么能反过来变成生成
前向过程和反向过程其实是对称的。前向过程是往一张干净图里一步步加噪声,越加越糊,最后变成近似纯噪声;反向过程则是从纯噪声出发,一步步把噪声擦掉,最后还原出一张图。它们用的是同一套时间步编号,方向相反。
核心直觉是:如果模型学会了在任意时间步上「把当前图里的噪声预测出来并减掉」,那从纯噪声开始反复做这件事,就等于在生成一张图。所以训练时模型只需要预测噪声,而不需要直接学「怎么画一张图」。
- 前向过程
- 对干净图按时间步逐步加噪,方向固定,不需要学习。
- 反向过程
- 从噪声开始逐步去噪,每一步靠模型预测噪声再减掉。
- 时间步
- 表示当前噪声强度的一个编号,越靠后越接近纯噪声。
- 噪声强度
- 由时间步和预设的加噪节奏决定,不是模型自己定的。
纯直觉在多数入门场景够用,但有两种情况不够:一是你要自己改采样器或换采样步数,二是要做条件控制或微调。这两类动作必须回到公式,知道每一步在算哪个量。
数学部分只抓这条主线:目标函数在算什么
变分下界、简化损失、噪声预测目标,这三个词看起来吓人,其实是在说同一件事的不同写法。变分下界是从概率角度推出的优化目标,简化损失是对它做了化简,噪声预测目标是把化简后的损失再换一种等价表达。三条线最终指向同一个训练信号。
条件生成里的额外输入,比如文本、类别、掩码,是在训练时和带噪图、时间步一起喂给模型的。模型学的仍然是预测噪声,只是预测时会参考这些条件,所以采样时给不同条件就能得到不同结果。
| 概念 | 对应什么 | 入门阶段要不要记公式 |
|---|---|---|
| 变分下界 | 从概率角度推出的原始优化目标 | 知道名字和目的即可 |
| 简化损失 | 对下界做化简后的实际训练目标 | 知道它比下界好算 |
| 噪声预测 | 把损失换成预测噪声的等价写法 | 重点记输入输出 |
| 条件输入 | 和噪声一起进模型的额外信号 | 知道它怎么参与即可 |
采样之所以要迭代多步,是因为每一步只去掉一点噪声,步子太少容易糊,步子太多耗时上升。步数与质量、耗时之间是权衡关系,没有万能值,具体数值可以到站内工具目录里对照同类工具的默认设置。/tools 里能看到常见工具的默认采样步数范围,作为起点参考。
数学细节记不住很正常。先把「输入是什么、输出是什么、损失在比什么」这三件事记住,其余推导用到再查。
从零跑通一次:环境、模型、提示词、出图的顺序
- 确认硬件与显存先看显卡型号和显存大小,判断本地能跑到什么分辨率。显存不够就换小模型或走在线方式,别硬撑。
- 选运行方式本地跑要装依赖和权重,在线接口要申请额度。两条路都可以,先选一条走通再说。
- 选模型权重先挑一个通用基础模型,别一上来就找风格化权重。权重和运行方式要匹配,格式不对会直接报错。
- 写提示词正向写你想要的画面,负向写要排除的东西。第一次只写主干描述,别堆一长串词。
- 出图并记录参数固定种子、步数、引导强度各出一张,把参数记下来。下次要复现或对比就有依据。
本地跑和在线接口各自要看的信息不同。本地重点看显存占用和单张耗时,在线重点看接口的额度口径和并发限制。这些数字会变,建议到站内价格追踪页核对当时的口径:/price-watch。
- 正向提示词:描述主体、风格、构图,按重要性从前往后写
- 负向提示词:放你不想要的元素或常见瑕疵,不用写太多
- 步数:先取同类工具的常见默认值,再上下各试一档
- 引导强度:太高容易僵、太低容易不听提示词,从小范围调
第一次只改一个变量。固定种子,先只调提示词,看变化;再固定提示词,只调步数。同时动提示词和参数,出了问题根本分不清是谁的锅。
常见翻车点与排查顺序
出图失败先别急着调参,按固定顺序排查能省很多时间。顺序是:先看显存够不够,再看模型权重是否匹配运行方式,接着看提示词与参数,最后才怀疑依赖版本。这个顺序是从「最常见且最容易确认」排到「最费时」。
| 现象 | 先查什么 | 怎么验证 |
|---|---|---|
| 出图全黑 | 显存与精度设置 | 换一张简单提示词重跑 |
| 结构崩坏 | 步数与引导强度 | 固定种子只调其中一项 |
| 不听提示词 | 引导强度与负向词 | 去掉负向词重试对比 |
| 每次差别巨大 | 随机种子 | 固定种子再跑两遍 |
有些问题不是调参能解决的。比如模型本身没见过某类画风,你怎么调提示词也出不来,这时候该换模型而不是继续硬调。判断方法很简单:同一提示词换一个模型,如果另一个模型能出、当前模型不能,就是能力边界问题。
扩散模型的资源消耗习惯和语言大模型不一样。它按张、按步数消耗算力,步数翻倍耗时也大致翻倍,所以预算要先按这个口径估,别照搬文本接口的估算方式。具体单价和额度到站内各大官方 API 价格页核对当时的数字:/sites。
图像生成之外,这套思路还能用在哪
同一套加噪去噪框架还能用在不少任务上。图像修复是把破损区域当噪声处理,超分是把低清图当带噪版本,图像编辑是在条件里加掩码或参考图,视频和音频生成则是把时间维度一起考虑进去。主干思路不变,变的只是条件输入和训练数据。
迁移到新任务时,重点改两处:条件输入换成本任务能提供的信息,训练数据换成对应领域的干净样本。去噪主干通常不用大改,这也是扩散模型好迁移的原因之一。
判断一个任务适不适合用扩散模型,看两点:有没有明确的「干净目标」,有没有能模拟出来的噪声过程。两个都有,可以试;缺一个就别硬套,换成其他方法可能更省事。
- 做实际项目先小规模验证效果,别一上来就训大模型
- 验证通过再决定是否投入算力做完整训练
- 先用少量样本跑通流程,确认管线没问题
常见问题
不懂高数能学扩散模型吗?
能,但学法要调整。先把前向加噪、反向去噪、噪声预测这三件事的输入输出关系记牢,公式部分当作查得到的附录。真正卡住你的多半不是推导,而是分不清哪一步在训练、哪一步在采样。等到需要自己改采样器或做条件控制时,再回头补数学也不迟。
本地跑还是用在线接口,怎么选?
看两件事:一是你要不要反复试参数,反复试的话本地更省事;二是显卡够不够,不够就先在线跑通流程。显存需求跟分辨率、步数、模型规模都有关,具体数字别信口口相传,到 /models/deploy 按你的模型和分辨率算一遍,再决定买卡还是租卡。
生成效果不好,先改哪一步?
按固定种子、只改一个变量的原则来。先把步数和引导强度调到位,再动提示词,最后才考虑换模型。如果换了几组参数都是同样的结构崩坏,那就是模型或权重不匹配的问题,继续调参只是浪费算力。同一提示词想横向比,用 /tools/pelican-bench 跑一遍比凭感觉靠谱。