扩散Transformer（DiT）

扩散 Transformer（Diffusion Transformer，DiT）是把扩散模型的去噪骨干从卷积网络（UNet）换成 Transformer 的生成架构，如今已成为新一代图像与视频生成模型的主流底座。它让生成模型继承了语言模型那套「模型更大、效果稳定变好」的扩展法则，使生成任务从工艺调优走向规模化投入。

为什么要把 UNet 换掉

传统扩散模型用 UNet 做去噪骨干，处理固定尺寸图像时高效，因为卷积天然具备局部性和平移不变性。但它的可扩展性与全局关系建模能力有限：感受野要靠层层堆叠才能扩大，跨区域的长程依赖难以直接捕捉。Transformer 则天然处理任意位置之间的关系，并且有成熟的扩展法则与成熟的并行训练工程支持。把图像切成小块（Patch）当作「词元」（Token）输入、与文本标记走同一套注意力机制，图像生成就自然融入了多模态统一建模的轨道。

DiT 带来的能力变化

• 更好的规模收益：参数量与数据量增加时，生成质量提升路径更平滑可预测，投入与产出的关系更清晰。
• 文本到图像：新一代文生图模型纷纷以 DiT 为骨干，逐步替代早期基于 UNet 的路线。
• 视频生成：视频生成模型直接以 DiT 为骨架，把时间与空间维度统一建模，实现连贯的长视频生成。
• 可控生成：配合条件注入机制，可对构图、运动、镜头等内容做精细控制，让生成结果更接近创作意图。
• 成本代价：注意力计算量随序列长度快速增长，训练与推理成本显著提高，推动了各类并行与加速方案的涌现。

实践要点

• 优先做输入分词与位置编码：Patch 大小、时序压缩方式和位置编码形式对视频连贯性的影响，往往大于骨干网络的微调。
• 关注注意力成本：视频序列长度远高于图像，蒸馏、稀疏注意力等手段常是能否落地的分水岭。
• 条件机制要与训练目标一致：文本、参考图、轨迹等条件若注入方式混乱，容易导致可控性与生成质量互相拖累。
• 训练数据质量优先于技巧堆叠：字幕准确度与数据多样性对最终效果的影响通常超过结构改动。
• 评估要区分指标与观感：自动指标好不代表画面自然，运动连贯性尤其需要人眼抽检。

常见误区

• 以为换成 Transformer 就一定更好：在小数据量、小算力条件下，卷积骨干的采样效率和训练稳定性可能更优，架构选择要匹配规模。
• 把 DiT 当成统一的模型定义：它只规定骨干类型，去噪调度、条件注入、训练目标仍有大量设计空间，不同实现的差异很大。
• 忽视推理成本：生成质量提升往往伴随采样步数与计算量上升，实际部署必须同时考虑延迟与吞吐。
• 把可控性等同于精确编辑：条件注入提供的是引导而非像素级控制，精细编辑通常还需额外的空间约束手段。

当前格局

如今 DiT 已成为图像与视频生成领域的默认底座，研究重心也从「换骨干」转向更大规模的时序建模、多模态统一与推理加速。对从业者而言，理解 DiT 的价值不在于记住某种网络结构，而在于认识到生成模型已经进入可规模化投入的阶段——架构的选择空间收窄了，数据、算力与工程效率反而成为决定性因素。