Transformer 主干
把潜在扩散模型中常用的 U-Net 主干换成在潜变量图像块上运行的 Transformer，架构接近标准 Vision Transformer，只保留少量关键改动。
价格官网未公开定价信息
平台Web
归类AI 绘画生图
收录2023-01-01
复核2025-01-01
编辑评分
4.3 / 5
★★★★☆
DiT编辑总结
DiT（Diffusion Transformers）由 William Peebles 与 Saining Xie 提出，来自 UC Berkeley 与纽约大学，发表于 ICCV 2023 并获 Oral 展示。它把潜在扩散模型里常用的 U-Net 主干换成在潜变量图像块上运行的 Transformer，架构接近标准 Vision Transformer，仅加入自适应层归一化来注入扩散时间步与类别标签。模型按深度与宽度分为 DiT-S、DiT-B、DiT-L、DiT-XL 四档，参数从 33M 到 675M，算力从 0.4 到 119 Gflops，可以按模型规模与输入 token 数量两个方向扩展。DiT-XL/2 在类别条件 ImageNet 256×256 基准上取得 2.27 的 FID，512×512 上也优于此前的扩散模型。短板是它属于研究项目而非现成产品，官网未公开可直接使用的工具界面与定价
DiT是什么？
DiT 是一个研究性质的图像生成扩散模型，由 William Peebles 与 Saining Xie 提出，隶属 UC Berkeley 与纽约大学，相关工作以《Scalable Diffusion Models with Transformers》为题发表于 ICCV 2023，并获得 Oral 展示。它要回答的问题是：扩散模型长期以来都依赖卷积 U-Net 作为主干，而 Transformer 已在多个领域占据主导，那么 U-Net 或卷积是否真的不可替代。
论文的做法是在潜在扩散模型（LDM）中直接把 U-Net 主干替换为 Transformer，得到 Diffusion Transformers，简称 DiT。其结构非常接近标准 Vision Transformer，只做了少量但关键的改动：扩散模型需要处理扩散时间步、类别标签等条件输入，作者尝试了多种模块设计，效果最好的是带自适应层归一化（adaLN）的 ViT 模块，这些层同时调制残差连接前的激活值，并被初始化成使每个 ViT 模块表现为恒等函数。论文指出，仅改变条件输入的注入方式就对 FID 产生了巨大影响，除此之外 DiT 就是一个相当标准的 Transformer。
从使用者角度看，DiT 面向的是研究者和开发者：论文提供了代码、Colab 与 Hugging Face Space，可以复现或在此基础上继续训练；普通读者如果想直观感受效果，可以看论文给出的 512×512 潜空间漫游演示。未提供开箱即用的图像生成界面，也没有面向个人用户的订阅或计费方式。
DiT核心功能
adaLN 条件注入
用带自适应层归一化的 ViT 模块注入扩散时间步与类别标签，这些层同时调制残差连接前的激活值，并初始化成让每个模块表现为恒等函数。
四档模型规模
提供 DiT-S、DiT-B、DiT-L、DiT-XL 四档配置，按深度与宽度区分，参数范围从 33M 到 675M，算力范围从 0.4 到 119 Gflops。
patch 尺寸可调
首层 patchify 把输入潜变量线性嵌入为 Transformer token，patch 尺寸决定 token 数量：patch 减半则输入 token 翻四倍，总 Gflops 至少翻四倍，但基本不改变参数量。
类别条件生成
属于类别条件扩散模型，512×512 的 DiT-XL/2 可沿潜空间漫游生成图像，论文展示了用相同采样噪声比较 12 个模型的效果。
算力决定质量
论文发现 Gflops 更高的 DiT——通过增加 Transformer 深度、宽度或输入 token 数量实现——FID 一致更低，可扩展性由此得到验证。
ImageNet 基准领先
DiT-XL/2 在类别条件 ImageNet 512×512 与 256×256 基准上优于此前所有扩散模型，在 256×256 上取得 2.27 的 FID。
DiT适合谁用？
扩散模型研究者
推荐想验证 Transformer 能否替代 U-Net 主干，可直接阅读论文与复现代码，四档配置与 12 个训练模型提供了完整的对照设置。
图像生成开发者
有条件需要把类别条件生成能力集成进自己的流程，可以参考论文结构自行训练；官网未提供托管 API，集成工作量需自行评估。
想直接出图的普通用户
不推荐官网以论文与代码为主，没有面向个人用户的生成界面、订阅档位或配额说明，不能当作即开即用的绘图工具。
DiT优点和缺点
优点
- ImageNet 256×256 上取得 2.27 的 FID，优于此前所有扩散模型
- 同一套架构可扩展到 33M 至 675M 参数、0.4 至 119 Gflops
- Gflops 越高 FID 越低，可扩展性在 12 个模型上得到验证
缺点
- 属于研究项目，官网未提供开箱即用的生成界面
- 官网未公开定价与托管服务方案
- 使用前需自行准备训练环境与算力
DiT常见问题
DiT 和常见的扩散模型有什么区别？＋
常见扩散模型几乎都用卷积 U-Net 作主干，DiT 把这部分换成在潜变量图像块上运行的 Transformer，结构与标准 Vision Transformer 接近。论文只对条件输入的注入方式做了改动，用带自适应层归一化的 ViT 模块处理时间步与类别标签，并称仅此一项改动就对 FID 影响巨大。
DiT 有哪些模型规格？＋
按深度和宽度分四档：DiT-S、DiT-B、DiT-L、DiT-XL，参数从 33M 到 675M，算力从 0.4 到 119 Gflops。每一档又训练了 patch 尺寸为 8、4、2 的三种版本，共 12 个模型，其中 DiT-XL/2 算力最高。
DiT 生成效果如何？＋
论文称 DiT-XL/2 在类别条件 ImageNet 512×512 和 256×256 基准上优于此前所有扩散模型，256×256 上的 FID 为 2.27。论文还指出，Gflops 更高的模型通过增加深度、宽度或输入 token 数量，FID 一致更低。
patch 尺寸会影响什么？＋
首层 patchify 把输入潜变量切成块并线性嵌入成 Transformer token，patch 越小 token 越多。论文给出的换算是 patch 尺寸减半会让输入 token 翻四倍，模型总 Gflops 至少翻四倍，但 patch 尺寸对参数量没有实质影响。
在哪里可以拿到 DiT 的代码？＋
论文包括了 Paper、Code、Hugging Face Space 与 Colab 几个入口，可据此获取实现并复现结果。未说明代码的具体授权条款与商用范围。
DiT竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| DiT本工具 | 4.3 | 官网未公开定价信息 | Transformer 主干；adaLN 条件注入；四档模型规模；patch 尺寸可调 | Web |
| Depth Anything | — | 未标价 | 强大的单目深度估计工具，它通过利用大规模未标注数据和先进的数据增强技术，实现了在多种复杂 | — |
| Stable Diffusion 3.5 | — | 未标价 | 强大的图像生成模型 | — |
| Stable Diffusion 3.5 Medium 2.6B | — | 未标价 | 基于人工智能的图像生成模型 | — |
| FLUX1.1 [pro] | — | 通过 BFL API 生成图片 4 cts/img | 最先进的图像生成模型 | API / Web |
| OmniGen | — | 未标价 | 创新的统一图像生成模型，它通过简化架构和整合多种图像生成任务，为用户提供了一个强大而灵活 | — |
