真实图像超分辨率
面向 Real-ISR 任务，借助预训练文本到图像 Stable Diffusion 的生成先验，在放大真实照片的同时保持像素级结构不漂移。
官方说明 ↗
Pixel-Aware Stable Diffusion
AI TOOL PROFILE工具资料让扩散模型在超分与风格化时保住像素级结构
价格官网未标价
平台API
归类AI 绘画生图
收录2024-07-09
复核2024-07-09
编辑评分
4.3 / 5
★★★★☆
Pixel-Aware Stable Diffusion编辑总结
这是香港理工大学与阿里巴巴团队提出的 PASD 网络，论文收录于 ECCV 2024。它给预训练的文本到图像 Stable Diffusion 加了一个像素感知交叉注意力模块，让模型在像素级别感知图像局部结构，再配合退化去除模块提取对退化不敏感的特征，共同引导扩散过程。它同时能做真实图像超分辨率与个性化风格化：换掉基础扩散模型即可生成多样风格化图像，无需收集成对训练数据；换上美学模型还能修复老照片。论文给出了可复现的开源代码地址，但未公开网页端产品、定价或在线额度信息。
Pixel-Aware Stable Diffusion是什么？
Pixel-Aware Stable Diffusion（简称 PASD）是论文 arXiv:2308.14469 提出的图像处理网络，作者为 Tao Yang、Rongyuan Wu、Peiran Ren、Xuansong Xie、Lei Zhang。论文 2023 年 8 月 28 日首次提交，2024 年 7 月 9 日更新到 v4，并被 The European Conference on Computer Vision (ECCV) 2024 收录。它面向真实图像超分辨率（Real-ISR）与个性化图像风格化两类任务。
它建立在预训练的文本到图像 Stable Diffusion 之上，利用其生成先验来解决超分与风格化。针对以往方法保不住像素级结构的问题，论文引入像素感知交叉注意力模块，让扩散模型在像素级别感知图像局部结构；同时用退化去除模块提取对退化不敏感的特征，与图像高层信息一起引导扩散过程；还提出可调噪声调度进一步改善图像修复效果。
它不做成对训练数据的收集：直接把基础扩散模型换成风格化模型，就能生成多样化的风格化图像；把基础模型换成美学模型，PASD 可以把老照片修复回生动状态。论文称在多种图像增强与风格化任务上做了大量实验验证效果，源代码已在论文给出的地址公开。
Pixel-Aware Stable Diffusion核心功能
像素感知交叉注意力
新增的像素感知交叉注意力模块，让扩散模型在像素级别感知图像局部结构，解决以往方法保不住逐像素结构、细节易失真的问题。
官方说明 ↗退化去除模块
提取对退化不敏感的特征，与图像高层信息一起引导扩散过程，用于应对真实图像中常见的模糊、噪声等退化。
官方说明 ↗可调噪声调度
引入可调噪声调度，用于进一步改善图像修复结果，是论文在像素感知注意力与退化去除之外的第三项关键设计。
官方说明 ↗个性化风格化
只需把基础扩散模型替换为风格化模型，即可生成多样化的风格化图像，论文明确说明无需收集成对训练数据。
官方说明 ↗老照片修复
把基础模型替换为美学模型后，PASD 可以把老照片修复回生动状态，复用同一套网络而不额外训练。
官方说明 ↗Pixel-Aware Stable Diffusion值不值得用？
如果你在做真实图像超分辨率或把照片转成特定画风的研究、复现或二次开发，PASD 值得细读：它把像素感知交叉注意力、退化去除模块和可调噪声调度三件事组合起来，正面回应了扩散模型保不住像素级结构的老问题，并且风格化与老照片修复两条路线都只需替换基础模型或美学模型，不用收集成对训练数据。代价是它目前是一篇论文与一份公开源代码，不是一个开箱即用的在线产品：没有网页端界面，没有公开的定价与额度，使用门槛在环境搭建与模型权重准备上。只想上传照片一键超分或转画风的普通用户，直接找成熟的在线服务更省事。
建议选它的情况
- 研究或复现 Real-ISR、图像风格化的算法工程师
- 需要把扩散模型接进自有图像增强流水线的团队
- 想用替换基础模型的方式做风格迁移、避免收集成对数据的人
不建议选它的情况
- 只想上传照片一键超分、不打算碰代码的普通用户
- 需要在线界面、按次计费与稳定服务承诺的商业用户
- 没有 GPU 环境、也不想自行搭建依赖的人
Pixel-Aware Stable Diffusion使用建议
入门先把路子走对
- 先读摘要与贡献点从 arXiv 摘要页读起，先分清像素感知交叉注意力、退化去除模块、可调噪声调度三块各自解决什么问题，再决定深入哪一部分。
- 按论文给的地址取代码摘要里直接给出了源代码地址，先克隆仓库、按 README 装依赖，再对照论文第 3 节核对模块是否齐全。
- 先跑超分再试风格化超分是论文的主线任务，先跑通超分验证环境；风格化只要替换基础扩散模型，可作为第二步验证。
进阶省时间也省钱
- 风格化靠换模型而非重训论文明确无需收集成对训练数据，你只要把基础扩散模型换成目标风格模型即可，省掉配对数据集的采集与标注成本。
- 老照片场景换美学模型把基础模型替换为美学模型，同一套 PASD 网络即可用于老照片修复，不必为修复任务单独训练一个网络。
- 调噪声调度换修复效果论文把可调噪声调度列为改善修复结果的手段，复现时把它当作可调项，针对不同退化程度分别试，而不是固定默认值。
- 对照 ECCV 2024 版本论文已被 ECCV 2024 收录，v4 是 2024 年 7 月 9 日的修订版；复现对不上时先确认自己看的是不是 v4。
Pixel-Aware Stable Diffusion适合谁用？
图像复原方向研究者
推荐Real-ISR 与风格化是论文的主线任务，网络设计与实验结果可直接作为对比基线或改进起点。
扩散模型二次开发者
推荐像素感知交叉注意力与退化去除模块都以模块形式给出，便于接入自有 Stable Diffusion 流水线。
老照片修复的个人开发者
有条件换美学模型即可复用同一网络做修复，但需要自备 GPU 环境与模型权重，官网未提供托管服务。
内容创作者与修图师
不推荐论文走的是代码路线，没有在线界面与按次计费，需要出图速度与稳定服务的人不适合直接采用。
Pixel-Aware Stable Diffusion优点和缺点
优点
- 论文收录于 ECCV 2024，方法经过同行评审
- 像素级结构保真直击扩散模型超分的老问题
- 风格化只需替换基础模型，无需成对训练数据
- 换美学模型即可做老照片修复，复用同一网络
- 源代码已在论文给出的地址公开
缺点
- 官网未公开定价、额度与在线服务信息
- 没有网页端产品，使用需自行搭建环境
- 论文未给出可对比的具体性能数值与耗时
- 像素感知与退化去除模块增加推理开销
Pixel-Aware Stable Diffusion关键指标
Pixel-Aware Stable Diffusion常见问题
PASD 是什么？解决什么问题？＋
它是论文 arXiv:2308.14469 提出的像素感知稳定扩散网络，全称 Pixel-Aware Stable Diffusion。要解决的是：预训练文本到图像 Stable Diffusion 虽然生成先验强，但做真实图像超分与风格化时保不住逐像素的图像结构；如果靠 VAE 编解码器之间加跳连来还原细节，又需要在图像空间额外训练，限制了图像风格化这类潜空间任务。PASD 用像素感知交叉注意力加退化去除模块来应对这一点。
它和普通 Stable Diffusion 有什么不同？＋
基础扩散模型仍是预训练的文本到图像 Stable Diffusion，PASD 在其上加了像素感知交叉注意力模块，让模型在像素级别感知局部结构，并加入退化去除模块提取对退化不敏感的特征，与图像高层信息共同引导扩散过程，另外引入可调噪声调度改善修复结果。换句话说，差异在像素级结构保持与退化处理这两层。
做风格化需要自己收集成对训练数据吗？＋
不需要。论文明确指出，只要把基础扩散模型替换为风格化模型，PASD 就能生成多样化的风格化图像，无需收集成对训练数据。同理，把基础模型替换为美学模型，PASD 就能把老照片修复回生动状态。两条路线的共同点是换模型而不是重训网络。
有在线应用可以直接用吗？多少钱？＋
论文没有提供网页端应用，也没有公布任何定价、免费额度或付费档位，官网未公开这些信息，使用方式以论文给出的源代码地址为准。这意味着它当前是研究代码而非在线服务：你需要自行准备 GPU 环境、依赖与模型权重才能运行，成本和门槛落在算力与部署上，而不是订阅费用上。
论文发表在什么会议，看哪一版？＋
论文被 The European Conference on Computer Vision (ECCV) 2024 收录，arXiv 编号 2308.14469，属于 cs.CV（计算机视觉与模式识别）。首次提交时间为 2023 年 8 月 28 日，最新修订版 v4 的时间为 2024 年 7 月 9 日。复现结果与论文不一致时，优先确认自己阅读的是不是 v4 版本。
国内能正常使用吗？＋
论文本身通过 arXiv 公开可读，源代码也已给出，这部分访问不涉及额外的地域限制说明。但运行需要自备 GPU 环境与模型权重，论文未给出托管服务，因此能否顺利跑通取决于你的本地算力与依赖安装，而不是账号或地区。官网未说明国内可用性与网络要求。
Pixel-Aware Stable Diffusion竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Pixel-Aware Stable Diffusion本工具 | 4.3 | 未标价 | 真实图像超分辨率；像素感知交叉注意力；退化去除模块；可调噪声调度 | API |
| Stable Diffusion本工具 | — | 未标价 | PASD 直接建立在预训练文本到图像 Stable Diffusion 之上，是它的能力扩展而非替代；后者用于通用文生图，PASD 专注超分与风格化中的像素级结构保持。 | — |
PASD 与 Stable Diffusion 不是二选一的关系：通用文生图直接用 Stable Diffusion，需要真实图像超分或把照片转成特定画风、且要求保住逐像素结构时，才在它的基础上换成 PASD 这套网络。
