扩散模型入门教程:数学原理、方法与应用

入门与上手

把扩散模型的加噪去噪直觉、训练与采样流程、以及图像生成落地步骤讲成一条能照着走的入门路线。

很多人第一次听到扩散模型,是被「数学原理」四个字劝退的:前向加噪、反向去噪、时间步、噪声预测,看着像论文。可真要上手出图,又只需要搞懂几个开关和一条流程。这篇不谈花哨名词,只按「先建立直觉、再看公式对应什么、最后跑通一次生成」的顺序走一遍,顺手告诉你哪些环节最容易白忙。

很多人第一次听到扩散模型,是被「数学原理」四个字劝退的:前向加噪、反向去噪、时间步、噪声预测,看着像论文。可真要上手出图,又只需要搞懂几个开关和一条流程。

这篇不谈花哨名词,只按「先建立直觉、再看公式对应什么、最后跑通一次生成」的顺序走一遍,顺手告诉你哪些环节最容易白忙。

先把直觉立住:加噪为什么能反过来变成生成

前向过程和反向过程其实是对称的。前向过程是往一张干净图里一步步加噪声,越加越糊,最后变成近似纯噪声;反向过程则是从纯噪声出发,一步步把噪声擦掉,最后还原出一张图。它们用的是同一套时间步编号,方向相反。

核心直觉是:如果模型学会了在任意时间步上「把当前图里的噪声预测出来并减掉」,那从纯噪声开始反复做这件事,就等于在生成一张图。所以训练时模型只需要预测噪声,而不需要直接学「怎么画一张图」。

前向过程
对干净图按时间步逐步加噪,方向固定,不需要学习。
反向过程
从噪声开始逐步去噪,每一步靠模型预测噪声再减掉。
时间步
表示当前噪声强度的一个编号,越靠后越接近纯噪声。
噪声强度
由时间步和预设的加噪节奏决定,不是模型自己定的。

纯直觉在多数入门场景够用,但有两种情况不够:一是你要自己改采样器或换采样步数,二是要做条件控制或微调。这两类动作必须回到公式,知道每一步在算哪个量。

数学部分只抓这条主线:目标函数在算什么

变分下界、简化损失、噪声预测目标,这三个词看起来吓人,其实是在说同一件事的不同写法。变分下界是从概率角度推出的优化目标,简化损失是对它做了化简,噪声预测目标是把化简后的损失再换一种等价表达。三条线最终指向同一个训练信号。

条件生成里的额外输入,比如文本、类别、掩码,是在训练时和带噪图、时间步一起喂给模型的。模型学的仍然是预测噪声,只是预测时会参考这些条件,所以采样时给不同条件就能得到不同结果。

概念对应什么入门阶段要不要记公式
变分下界从概率角度推出的原始优化目标知道名字和目的即可
简化损失对下界做化简后的实际训练目标知道它比下界好算
噪声预测把损失换成预测噪声的等价写法重点记输入输出
条件输入和噪声一起进模型的额外信号知道它怎么参与即可

采样之所以要迭代多步,是因为每一步只去掉一点噪声,步子太少容易糊,步子太多耗时上升。步数与质量、耗时之间是权衡关系,没有万能值,具体数值可以到站内工具目录里对照同类工具的默认设置。/tools 里能看到常见工具的默认采样步数范围,作为起点参考。

数学细节记不住很正常。先把「输入是什么、输出是什么、损失在比什么」这三件事记住,其余推导用到再查。

从零跑通一次:环境、模型、提示词、出图的顺序

  1. 确认硬件与显存先看显卡型号和显存大小,判断本地能跑到什么分辨率。显存不够就换小模型或走在线方式,别硬撑。
  2. 选运行方式本地跑要装依赖和权重,在线接口要申请额度。两条路都可以,先选一条走通再说。
  3. 选模型权重先挑一个通用基础模型,别一上来就找风格化权重。权重和运行方式要匹配,格式不对会直接报错。
  4. 写提示词正向写你想要的画面,负向写要排除的东西。第一次只写主干描述,别堆一长串词。
  5. 出图并记录参数固定种子、步数、引导强度各出一张,把参数记下来。下次要复现或对比就有依据。

本地跑和在线接口各自要看的信息不同。本地重点看显存占用和单张耗时,在线重点看接口的额度口径和并发限制。这些数字会变,建议到站内价格追踪页核对当时的口径:/price-watch。

  • 正向提示词:描述主体、风格、构图,按重要性从前往后写
  • 负向提示词:放你不想要的元素或常见瑕疵,不用写太多
  • 步数:先取同类工具的常见默认值,再上下各试一档
  • 引导强度:太高容易僵、太低容易不听提示词,从小范围调

第一次只改一个变量。固定种子,先只调提示词,看变化;再固定提示词,只调步数。同时动提示词和参数,出了问题根本分不清是谁的锅。

常见翻车点与排查顺序

出图失败先别急着调参,按固定顺序排查能省很多时间。顺序是:先看显存够不够,再看模型权重是否匹配运行方式,接着看提示词与参数,最后才怀疑依赖版本。这个顺序是从「最常见且最容易确认」排到「最费时」。

现象先查什么怎么验证
出图全黑显存与精度设置换一张简单提示词重跑
结构崩坏步数与引导强度固定种子只调其中一项
不听提示词引导强度与负向词去掉负向词重试对比
每次差别巨大随机种子固定种子再跑两遍

有些问题不是调参能解决的。比如模型本身没见过某类画风,你怎么调提示词也出不来,这时候该换模型而不是继续硬调。判断方法很简单:同一提示词换一个模型,如果另一个模型能出、当前模型不能,就是能力边界问题。

扩散模型的资源消耗习惯和语言大模型不一样。它按张、按步数消耗算力,步数翻倍耗时也大致翻倍,所以预算要先按这个口径估,别照搬文本接口的估算方式。具体单价和额度到站内各大官方 API 价格页核对当时的数字:/sites。

图像生成之外,这套思路还能用在哪

同一套加噪去噪框架还能用在不少任务上。图像修复是把破损区域当噪声处理,超分是把低清图当带噪版本,图像编辑是在条件里加掩码或参考图,视频和音频生成则是把时间维度一起考虑进去。主干思路不变,变的只是条件输入和训练数据。

迁移到新任务时,重点改两处:条件输入换成本任务能提供的信息,训练数据换成对应领域的干净样本。去噪主干通常不用大改,这也是扩散模型好迁移的原因之一。

判断一个任务适不适合用扩散模型,看两点:有没有明确的「干净目标」,有没有能模拟出来的噪声过程。两个都有,可以试;缺一个就别硬套,换成其他方法可能更省事。

  • 做实际项目先小规模验证效果,别一上来就训大模型
  • 验证通过再决定是否投入算力做完整训练
  • 先用少量样本跑通流程,确认管线没问题
下一步如果你想对着真实数据看模型与中转站的情况,可以从站点目录和可信度检测页入手,先摸清有哪些可选路径再决定怎么跑。

常见问题

不懂高数能学扩散模型吗?

能,但学法要调整。先把前向加噪、反向去噪、噪声预测这三件事的输入输出关系记牢,公式部分当作查得到的附录。真正卡住你的多半不是推导,而是分不清哪一步在训练、哪一步在采样。等到需要自己改采样器或做条件控制时,再回头补数学也不迟。

本地跑还是用在线接口,怎么选?

看两件事:一是你要不要反复试参数,反复试的话本地更省事;二是显卡够不够,不够就先在线跑通流程。显存需求跟分辨率、步数、模型规模都有关,具体数字别信口口相传,到 /models/deploy 按你的模型和分辨率算一遍,再决定买卡还是租卡。

生成效果不好,先改哪一步?

按固定种子、只改一个变量的原则来。先把步数和引导强度调到位,再动提示词,最后才考虑换模型。如果换了几组参数都是同样的结构崩坏,那就是模型或权重不匹配的问题,继续调参只是浪费算力。同一提示词想横向比,用 /tools/pelican-bench 跑一遍比凭感觉靠谱。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。