很多人第一次翻扩散模型论文,卡在同一个地方:满页的加噪、去噪、变分下界,公式长得像,看不出哪一步是关键。这篇不讲模型原理,只给阅读路线——先看哪类论文、公式里盯哪几个符号、什么时候可以跳过推导直接看结论。适合有基础深度学习概念、想快速摸清脉络的人。
很多人第一次翻扩散模型论文,卡在同一个地方:满页的加噪、去噪、变分下界,公式长得像,看不出哪一步是关键。这篇不讲模型原理,只给一条阅读路线——先看哪类论文、公式里盯哪几个符号、什么时候可以跳过推导直接看结论。
适合已经有基础深度学习概念、想快速摸清脉络的人。如果你连反向传播、KL 散度都不熟,建议先补这两块再回来,否则会在奠基作第一章就卡住。下面按顺序讲:先定阅读顺序,再挑公式重点,然后分清哪些推导能跳,最后用一份台账把读过的串起来。
先定顺序:别从最难的开始
按「综述→奠基作→改进方向→应用」四层往前推。先看近年综述,把术语和分支对齐,再回头读奠基作;反过来做的话,读到一半全是没定义的符号,效率很低。综述选近两三年、引用量高的,能省掉大量自己拼术语的时间。
- 每读一篇只回答三个问题:它解决前一版的什么毛病、加了什么、代价是什么;回答不出来,说明顺序跳了,退回去补前面那篇
- 奠基作读两遍:第一遍只看框架和结论,第二遍再抠关键推导,别一遍就想全吃透
- 改进方向的论文按时间顺序读,不要随机挑,否则会看不出动机
- 应用类论文可以跳着看,重点看它怎么把已有方法接到具体任务上,公式部分通常可以略读
- 第一层:综述找一篇覆盖主流的综述,通读一遍,把出现的术语记下来,不求全懂,只求知道有哪些分支
- 第二层:奠基作精读奠定当前主流框架的那一两篇,把主干公式推到能自己写出来的程度
- 第三层:改进方向按时间顺序读采样加速、条件控制等几个分支,每篇笔记只记「改哪儿、为什么改、代价是什么」
- 第四层:应用按需读,重点看接口和数据假设,公式可以快速掠过
公式里真正要盯的符号
扩散模型的公式看着多,但主线其实只有三类量:时间步、加噪强度、噪声预测目标。把这三者的角色搞清楚,其余符号大多是不同论文的记号习惯差异。建议准备一张对照表,把同义符号记在同一行。
| 符号类别 | 在论文里干什么 | 读的时候盯什么 |
|---|---|---|
| 时间步 | 标记当前处在加噪还是去噪的哪个阶段 | 它是否可学习、采样时跳不跳步 |
| 加噪强度 | 控制每一步往数据里加多少噪声 | 是否单调、和采样步数什么关系 |
| 噪声预测目标 | 网络实际被训练去拟合的东西 | 它是预测噪声还是预测干净样本,两者能不能互相换算 |
| 条件输入 | 控制生成方向的那一路信息 | 是拼进输入还是通过额外模块注入 |
特别要分清「训练时算什么」和「采样时用什么」。论文里的损失函数和最终推理步骤往往不是一回事,混着看最容易晕。看到一个新方法,先问它改的是训练目标还是采样路径,这个判断能帮你快速归类。
- 遇到没见过的符号,先在文内搜索它第一次出现的定义,别硬猜
- 同义符号建一张个人对照表,比反复回翻原文省时间
- 公式里的常数和系数不用死记,理解它调节的是什么量就够
哪些推导可以跳、哪些不能跳
不是所有推导都值得逐行看。第一遍读的时候,变分下界的完整展开过程可以只记结论,它不影响你理解主干;但去噪目标为什么等价于预测噪声这一步不能跳,因为后面几乎所有变体都是从这里改出去的。
| 推导部分 | 第一遍怎么处理 | 什么时候不能跳 |
|---|---|---|
| 变分下界的完整展开 | 只记结论和最终形式 | 要做理论分析或写证明时 |
| 去噪目标与噪声预测的等价性 | 必须看懂,这是主干 | 任何情况下都别跳 |
| 采样加速的推导 | 看它改的是训练还是采样路径即可 | 要复现某篇具体方法时 |
| 工程近似和实现技巧 | 跳过,读代码更快 | 部署到资源受限环境时 |
采样加速、条件控制这类改进,阅读重点不在它堆了多少公式,而在它动的是训练目标还是采样路径。前者会影响你训出来的模型,后者只影响推理,两者调优思路完全不同。
边读边攒一份自己的台账
读论文最容易犯的错是读完一篇忘一篇。建议边读边建一张固定字段的表,每篇填完再开下一篇。填不出来就说明没读进去,回去补。读完一个分支后回头横向比一次,比逐篇精读更容易看出这个方向整体在往哪走。
- 论文:标题加一句话定位,方便以后检索
- 解决的问题:它针对前一版的哪个具体毛病
- 改哪儿:训练目标、网络结构还是采样过程
- 假设条件:它在什么前提下成立
- 局限:作者自己承认的、或者你读出来的
- 可复用点:你能直接搬到自己项目里的那一小块
查术语和底层概念时,到站内的 /ai-dict/category/tech 或 /ai-dict/category/frontier 对照,通常比翻原文附录快;想追新论文动向可以看 /papers。这些页面上的条目和数字会更新,具体内容以当时页面为准,别凭记忆下结论。
另外一个提醒:不同论文的符号体系不统一,同一篇里不同章节也可能换记号。遇到对不上的地方,先怀疑是记号问题,别急着怀疑自己理解错了主干。
下一步把这套顺序和台账用起来,再去站内模型资料库核对术语和分支划分,能少走不少弯路。→常见问题
数学基础一般,能看扩散模型论文吗?
能,但要改读法:先看综述和应用类,把主干结构和术语吃下,再挑一两篇奠基作精读,其余只读摘要和方法概述。卡住的多半是记号不熟而不是数学不够,建个符号对照表能解决大半问题。
先读综述还是先读奠基作?
建议先读一篇近几年的综述,它会把分支、术语和各自解决什么问题铺一遍,你再回头看奠基作,公式里的符号才有归属。反过来先啃原文,容易被没定义的记号拖住,读三页就放弃。
要不要每篇都复现一遍?
只有你打算在这个方向做实验时才值得复现,而且优先复现改进类里改动最小的那几篇。纯为了搞懂脉络的话,对照别人的开源实现看关键代码段,比从零复现性价比高得多。