无需重训扩散模型
直接复用已有的文本到图像扩散模型作为监督信号,不针对新任务重新训练生成模型,降低了对三维或特定领域标注数据的依赖。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
把预训练扩散模型当作评分器,用梯度指导任意图像表示生成。
Score Distillation Sampling(SDS)是一类把已经训练好的图像扩散模型当成「评分函数」来用的优化方法。它不改动扩散模型本身,而是让另一个可微的图像表示(比如三维模型参数、纹理图或可训练图像)去询问扩散模型:「这样画,像不像文本描述的样子?」扩散模型给出一个梯度方向,这个方向被用来更新图像表示。由此,文本到三维、文本到纹理、文本驱动的图像编辑等任务都能借用二维扩散模型的知识。它的优势在于不用为每个任务重新训练生成模型,短板是梯度信号噪声较大,容易出现过度平滑或色彩饱和,需要配合负提示、时间步调度等技巧抑制。
Score Distillation Sampling 是一种利用预训练图像扩散模型来指导其他图像表示优化的方法。扩散模型本身只学会了对含噪图像去噪,而 SDS 把这个能力「借」出来:它让一个可微的渲染器或图像参数输出一张图,加噪后交给扩散模型,扩散模型算出的去噪方向反过来更新图像参数。整个过程扩散模型冻结不动,被优化的是你真正想要的那个表示。
这种方法在文本到三维生成里最为常见。一个三维表示(如神经辐射场或三维高斯)先渲染成二维图像,SDS 负责判断这张渲染图与文本描述是否一致,并把差距变成梯度回传,逐步让三维模型长出符合提示词的形状和纹理。因为不需要三维训练数据,SDS 让「用二维扩散模型做三维生成」成为可能,后续许多文生三维工作都建立在它之上。
对研究者来说,SDS 是一个可以嵌入自己优化流程的损失项;对三维创作者或工具开发者来说,它通常是某个文生三维或纹理生成工具内部的训练/生成机制,而不是一个独立可点击的界面产品。它的效果高度依赖所用的扩散模型、时间步采样策略和正则化手段,调参空间较大。
直接复用已有的文本到图像扩散模型作为监督信号,不针对新任务重新训练生成模型,降低了对三维或特定领域标注数据的依赖。
被优化的对象可以是神经辐射场、三维高斯、纹理贴图或单张可训练图像,只要能从表示渲染出二维图并让梯度回传即可接入。
以自然语言提示为条件,扩散模型判断渲染结果与描述的匹配程度,使优化方向受文本引导,可用于文生三维、纹理生成和图像编辑。
SDS 通常以损失函数形式出现,研究者可把它与其他重建损失、正则项组合,嵌入自己的优化循环中,而不是作为端到端成品工具使用。
不同扩散时间步提供的梯度侧重不同,需要设计采样范围与调度策略,否则容易出现细节缺失或整体过平滑。
需要在没有三维训练数据的情况下,用二维扩散先验驱动神经辐射场或高斯表示,SDS 是可改可调的基线优化目标。
想理解扩散先验如何迁移到非图像任务,SDS 的梯度形式和实现相对直接,适合作为实验起点。
若所用工具底层采用 SDS 类方法,纹理结果可能偏平滑,需要额外细节增强或后处理,不宜直接当作成品贴图。
SDS 是方法而非产品界面,需要自己搭优化流程和调参,不适合没有编程与训练环境的使用者。
不是。它是一类优化方法,通常以损失函数或训练目标的形式出现在文生三维、纹理生成等研究代码里。使用者需要自己准备可微渲染表示、扩散模型和优化循环,才能跑起来。你看到的成品文生三维工具,底层可能用了它,但对外呈现的是完整产品而非这个方法本身。
普通文生图是扩散模型自己从噪声一步步去噪出图像,输出就是一张图。SDS 则把扩散模型冻结,用它给别的表示(如三维模型)提供梯度方向,最终产物是三维模型或纹理,而不是单张图片。扩散模型在图里是生成器,在 SDS 里更像评分器。
SDS 的梯度是从扩散模型去噪过程中估计出来的,本身带有较大噪声,优化时容易把高频细节抹掉,表现为过平滑;同时颜色也容易偏向饱和。常见缓解手段包括引入负提示、调整时间步采样范围、加入重建或正则损失,但这些只能减轻,不能完全消除。
需要能读懂扩散模型的基本原理,熟悉 PyTorch 等训练框架,并理解可微渲染如何把三维表示投影成二维图。因为要自己组装优化循环、选时间步和调损失权重,没有一定深度学习工程经验会较难推进。建议先从已有开源实现跑通,再改结构。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Score Distillation Sampling本工具 | 4.2 | 未标价 | 无需重训扩散模型;可微表示优化;文本提示驱动;可作为损失项嵌入 | — |
| VMix | — | 未标价 | 文本到图像扩散模型的美学质量提升工具 | — |
| FreeU | — | 未标价 | 改进扩散模型采样质量的免费方法 | Web |
| TokenVerse | — | 未标价 | TokenVerse 是一种基于预训练文本到图像扩散模型的多概念个性化方法 | — |
| Pony Diffusion | — | 开放访问,可免费使用,受 CreativeML OpenRAIL-M 许可证约束 | 多功能文本到图像扩散模型,生成高质量非真实感图像 | Web |
| Flex.2-preview | — | 未标价 | 开放源代码的 8B 参数文本到图像扩散模型 | — |