清华与微软论文:VAE加噪训练,图片生成学得更快

资讯 腾讯网 作者:科技行者 全文 4984 字 · 约 13 分钟读完

你有没有想过,一张图片要被AI学会"画"出来,中间要经历什么?答案是:先被压缩,再被学习。现在流行的AI画图模型,比如Stable Diffusion,不会直接在原始像素上瞎折腾。它们会先用一个叫做VAE的工具把图片压缩成一堆数字,这堆数字叫做"潜在表示",然后让扩散模型在这些数字上学习生成规律,最后再把学会的东西解压

一张图要被AI真正学会“画”出来,中间得经历哪些环节?这个问题可能不少人没细想过。

说白了就两步:先压缩,再学习。

眼下主流的AI画图模型里,像VAE这样的工具会把图片压成一串数字,这串数字就是所谓的“潜在表示”。

VAE,全称变分自编码器,是一种神经网络工具,能把图片压成紧凑的数字表示,也能再解压回去。打个比方,它像个特别会打包的行李高手,一整箱衣服硬塞进一个小背包,到了地方还得保证能原样掏出来穿。

这套流程听上去没什么毛病。可清华大学和微软研究院的这篇论文点出了一个长期被忽略的矛盾:VAE压得越细、还原度越高,后面那个负责生成的模型反而可能学得越吃力。

论文标题里“加点噪声”的说法,说的就是这个意思。

**压缩越精细,AI学起来反倒可能越慢——这正是整篇论文要啃下的核心矛盾。**

矛盾到什么程度,先看一组数字。论文对比了几种VAE,其中包括追求高还原度的那一类。

换句话说,鱼和熊掌不能兼得,这在这个领域里长期被当成共识。

而这篇论文要做的,恰恰是把这条共识掀翻。

一次拆解实验,让真相意外浮出水面

事情得从一个叫REPA-E的方法讲起。

REPA-E是此前比较领先的做法。它的思路是:VAE压出来的数字既然要交给扩散模型用,那就把VAE和扩散模型捆在一块联合训练,边压缩边生成,双方互相磨合。同时它还引入了一个“语义对齐”信号。

DINO是Meta研发的自监督视觉特征提取模型,不用人工标注就能学会辨认图片里物体的轮廓和语义结构,经常被拿来当“老师模型”指导别的网络。

REPA-E的效果确实不赖。但研究团队做了件很较真的事:把REPA-E的训练过程拆开逐段看,结果发现一个细节。整套系统虽然同时用“扩散损失”和“语义对齐损失”两个信号训练,可真正能反向传导、动到VAE编码器参数的,只有语义对齐这一条路。那个真正管“生成图片”的扩散损失,在代码里被加了一个叫stop-gradient的操作。

stop-gradient是一种让梯度在反向传播时被截断的技巧,等于告诉某个模块“你能看,但别去改前面的东西”。REPA-E这么做,是因为研究者发现,若让扩散损失的梯度直接冲到VAE编码器上,潜在空间会出问题。

这个发现相当关键。它意味着,REPA-E那套复杂的联合训练架构——VAE加扩散模型一起练——真正起作用的也许只是“语义对齐”这一小块。于是研究团队做了个大胆的简化实验:把REPA-E里完整的扩散Transformer和扩散损失统统拿掉,只留下“从加了噪声的潜在表示里预测语义特征”这一项。

结果出人意料:性能几乎没掉。

论文的对照实验显示,训练32000步后,用完整REPA-E训出的VAE,下游生成模型GenEval得分是60.60;而这个被大幅简化、整个扩散模型都被拿掉的版本,叫做REPA-E w/o Diffusion,得分与之非常接近。

这就像你原以为一道菜好吃,是因为厨师走了十八道复杂工序,结果发现砍掉十七道、只留最后一步调味,味道几乎没变。也就是说,之前那套复杂流程里真正贡献风味的,可能就那一味调料。

这里有个细节得留意:这个“预测语义特征”的任务,输入并非干净的潜在表示,而是被人为加了噪声、被污染过的版本。换言之,VAE被要求干一件更难的事——哪怕我的压缩结果被噪声干扰过,你也得从中猜出图片原本的语义内容。

鲁棒预测

这个意外发现,促使论文提出了一个更一般化的原则,叫鲁棒预测(robust prediction)。

核心思路是这样:与其费劲把整个生成模型拉进来联合训练,不如直接要求VAE压出来的数字表示,在被人为加噪之后仍能预测出关键信息——不管是语义特征,还是图片本身的细节。

鲁棒预测是一种训练原则,要求模型即便输入被噪声污染,也能准确还原出目标信息。这样训出来的表示更“结实”,信息分布也更集中在不怕噪声干扰的方向上。

往VAE里掺噪声,怎么反倒成了好事?论文给出了数学层面的解释。

潜在表示中每个维度(方向)都对应一个"方差",方差越大,该方向承载的信息变化就越丰富、越关键。论文推导出的结论是:一旦要求VAE在加噪之后仍能准确预测目标,它就会自然地把重要信息集中到那些抗噪能力强的高方差方向上——只有放在那里,噪声袭来时才不容易被冲散。

打个比方:一间仓库老是进水,你存重要文件时自然会挑地势最高、最不容易被淹的那层架子,不会随手丢在容易进水的角落。否则真进了水(也就是扩散模型训练时要应付的噪声干扰),关键文件(关键生成信息)泡坏了就再也捞不回来。

还有一层原因让这件事显得关键。论文援引此前的研究(Wang & Pehlevan, 2025)指出,扩散模型学画图时,会先掌握方差大的"主导模式",方差小的细节则学得偏慢。两件事一对接,逻辑就顺了:重要信息本就聚在方差大的方向上,扩散模型又偏偏先学方差大的方向,这套潜在表示自然更容易被它快速吃透。鲁棒预测没有变出什么魔法,它只是顺着扩散模型天生的学习偏好,把该学的内容提前放到它最容易够着的位置。

双管齐下:RobustAlign和

找到鲁棒预测这条原则后,研究团队没有停在语义层面的预测上。他们意识到,只模仿DINO这类预训练模型的语义特征,细节可能会丢。好比让学生概括一篇文章的中心思想,大意他能抓住,可某一段里用词的细微差别,往往就被一笔带过了。

论文用

于是团队补上了第二条腿——RobustRecon。这是一项辅助训练任务:从加噪的潜在表示出发,直接重建原始图片的像素内容(不是语义特征),把语义预测任务可能漏掉的细节补回来。

落地做法是额外训一个"像素预测器",让它从被噪声污染的潜在表示里,试着还原原图的像素级细节,用

语义层面的鲁棒预测RobustAlign,加上像素层面的鲁棒预测RobustRecon,两者合起来就是论文的主角:

PCA可视化图把这种叠加效果摆得很清楚。单用RobustAlign,图像有清晰的物体轮廓,前景背景分得开;单用RobustRecon,局部纹理变化丰富,整体结构感却弱一些;两者合体的RoAR-VAE既保住了清晰轮廓,又留住了丰富的局部细节,两条腿的优点都接了过来。

数据说话:到底好在哪

原理讲了这么多,实际表现如何?论文在

| 方法 | 重建LPIPS↓ | 重建

|---|---|---|---|

| SD3-VAE | 0.0688 | 29.58 | 54.59 |

| FLUX.1-VAE | 0.0510 | 31.08 | 52.90 |

| VA-VAE | 0.1052 | 26.26 | 61.67 |

| REPA-E-FLUX | 0.0546 | 29.89 | 61.45 |

| **RoAR-VAE** | **0.0349** | **32.88** | **63.86** |

这张表最该留意的是,RoAR-VAE并非只在某一项上领先,而是两项都占优。重建LPIPS在对比方法中最低(说明图片失真最小),PSNR最高(说明清晰度最好),生成平均分63.86同样居首,比此前最强的REPA-E-FLUX高出2.19分。

这个结果与过去“鱼和熊掌不可兼得”的印象相反。论文用一张散点图呈现了这一结论:横轴是重建LPIPS,纵轴是生成分数,RoAR-VAE位于左上角,也就是失真低、生成分数高的区域;其余方法大多要在两者之间做取舍。

在细节保留方面,论文还设计了一项很有说服力的测试,名为

| 方法 | 小字识别准确率 | 小脸相似度 ||---|---|---|---|| FLUX.1-VAE | 52.07% | 0.53 || VA-VAE | 7.05% | 0.22 || **RoAR-VAE** | **69.00%** | **0.65** |

这组数字的差距很大。VA-VAE的生成分数不差,可小字识别准确率只有7.05%,几乎认不出什么字,这说明它在换来“好学”的同时,把大量精细信息直接丢掉了。RoAR-VAE的小字识别准确率达到69.00%,比专注重建的FLUX.1-VAE还高出16.93个百分点。

这背后意味着:一张图里若有一小块文字招牌或一张人脸,经RoAR-VAE压缩再还原,文字大概率仍能辨认,人脸也不至于完全走样;换成为“好学”而牺牲细节的其他VAE,这些信息可能在压缩环节就已永久丢失,后面扩散模型训练得再好也补不回来。

打个比方,寄快递时若打包阶段就把东西压坏,收件人开箱再小心也无济于事。VAE就相当于“打包”这一步,打包质量直接决定后面能否完好取出东西。

做减法还是做加法:消融实验给出答案

论文还开展了一系列消融实验,逐项检验每个设计是否真正起作用。

结果表明:仅使用RobustRecon、不做语义对齐时,平均分从基线的50.50升到59.38,提高8.88分;仅使用RobustAlign、不做像素重建时,分数升到62.49,提高11.99分;两者叠加后达到63.86分,提高13.36分。可见两项任务互为补充,并非重复劳动。

更关键的一项实验是去掉“加噪声”这一步,直接用干净的潜在表示做语义预测和像素重建,分数从63.86跌到58.47,下降5.39分。

这一结果堪称整篇论文最有力的证据:噪声是逼出鲁棒表示的关键机制,并非训练过程中的副作用或干扰项。

不加噪声会怎样?模型只要在干净输入上把任务做对即可,没有动力把重要信息向抗噪方向收拢,因为它从未被“考验”过。好比平时考试从不设陷阱题,学生就不必练那种容易被干扰的审题能力,真遇到有歧义的真实场景,自然容易出错。

论文还考察了预测器的架构选择。把RobustAlign里的8层Transformer换成一个简单的

写在后面

读完这篇论文,真正触动我的不是RoAR-VAE这个最终方法,而是那套“拆解实验”的思路。

研究团队没有一开始就设计新东西,而是先拆解一个已经奏效的方法(REPA-E),弄清它内部哪一部分真正起关键作用,哪一部分只是“看着有用、其实可以砍掉”的冗余。这种追根究底的做法,比最终结论更值得学习。很多复杂系统效果好,未必每个组件都重要,很可能是某个小环节挑了大梁,其余只是陪跑。

另一个让我意外的地方是信噪比那套数学推导。方差大的方向抗噪能力强,这本身不难理解;但把它与“扩散模型优先学习高方差方向”这一已有发现衔接起来,形成完整的因果链条,这种跨论文、跨发现的串联能力,才真正让一项工作从“有效但说不清为什么”变成“有效且知道为什么”。

还有一点值得琢磨:这篇论文某种程度上在说,有损的、带噪声的训练信号反而能逼出更稳健、更适合下游学习的表示。这个思路不只适用于VAE。任何“为下一环节打基础”的模块,都该想一想:自己交出去的东西,能不能扛得住后面环节的噪声和干扰?一个压缩表示若只在“干净”场景下完美,真实使用中的各种扰动一碰就破,那这种完美可能从一开始就是虚的。

下一个问题是:若给文本表示、语音表示也加上类似的“鲁棒预测”训练,会不会带来同样的提升?论文只在图像VAE上做了验证,但这个原则听起来并不只属于视觉领域。

Q&A

Q1:RoAR-VAE是什么?

A:RoAR-VAE是清华大学和微软研究院提出的一种

RoAR-VAE比FLUX.1-VAE强在哪儿?重建质量上,前者的PSNR高出1.80dB,LPIPS从0.0510降至0.0349;小字识别准确率提升16.93个百分点,下游生成分数同样更高。重建和生成两项指标一起往上走。

给VAE的潜在表示加噪声,为什么反而有效?噪声会逼着模型把关键信息往抗噪能力强的高方差方向上集中,扩散模型恰好优先学这些方向。实验里把加噪这一步去掉,生成分数就掉了5.39分。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 4.3万人点赞“断更抵制AI”:网文平台为何对AI说不

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。起点新发布的公告然而,多轮治理后,读者仍然会抱怨榜单上的作品

    来源 腾讯网
  2. Shopify Overexposed:代码配了鉴权,服务为何仍暴露公网?

    作者 | Claudio Masolo译者 | 田橙Shopify 推出了 内部扫描工具 Overexposed,用于定位 GKE 上的 Kubernetes Ingress 和 Cloud Run 服务,并检查它们是否能够在没有身份验证的情况下从互联网访问。该工具的第一个版本基于代码仓库中的配置文件,但存在误报和盲区

    来源 腾讯网
  3. 起点番茄接连出手,网文平台为何集体对AI文说“不”

    网文界今年发生了多场“AI斩杀”。2月和5月,番茄进行了针对AI低质内容的专项治理; 起点7月全面禁止AI文,8月一口气处理了上百本AI小说,其中有多部万订作品;10月30日,起点和QQ阅读发布公告,称将进一步打击签约作品滥用AI的行为,取消对作品的福利发放。 起点新发布的公告 然而,多轮治理后,读者仍然会抱怨榜单上的

    来源 AI 行业观察
  4. 曙光8000支撑中国科研拿下戈登·贝尔奖,还入围气候建模奖决赛

    从今年7月正式投用至今,短短四个多月,曙光8000再交出两项世界级科研成果的亮眼答卷。尤其值得关注的是,曙光8000的价值正通过真实科研应用得到持续检验。此次ACM戈登·贝尔奖夺魁及气候建模奖入围,正是曙光8000应用能力的又一次集中展示。从十万卡集群的工程突破,到世界级科研成果的创新突破,曙光8000正在以实际成果证

    来源 TechWeb
  5. 曙光8000应用,问鼎世界!中国科研斩获全球顶级大奖

    从今年7月正式投用至今,短短四个多月,曙光8000再交出两项世界级科研成果的亮眼答卷。尤其值得关注的是,曙光8000的价值正通过真实科研应用得到持续检验。此次ACM戈登·贝尔奖夺魁及气候建模奖入围,正是曙光8000应用能力的又一次集中展示。从十万卡集群的工程突破,到世界级科研成果的创新突破,曙光8000正在以实际成果证

    来源 TechWeb
  6. Signal限制截屏对抗AI监控,加密通讯迎来新防线

    加密通讯应用Signal宣布在Android与iOS版本中限制用户截屏功能,以应对AI驱动的监控浪潮。这一被官方称为“生存威胁”的举措,标志着隐私工具与人工智能监控之间的对抗进入新阶段。本文梳理Signal的调整细节、AI监控产业背景,以及隐私与可用性之间的长期博弈。

    来源 AI 科技快讯
  7. LSHub 发布 P1 与 MAX 工程 AI 终端:覆盖八大专业,两种部署可选

    日前,四川无量枢人工智能科技有限公司(品牌 LSHub)推出 LSHub P1 与 LSHub MAX 两款工程 AI 智能终端,面向建筑工程行业提供 CAD 出图辅助、工程量计算辅助、图纸审查辅助及工程专业知识问答四类应用。 两款产品对应两种部署需求 LSHub P1 为主力产品,形态是巴掌大小的 AI 智能盒子,连

    来源 AI 行业观察
  8. Helsing柏林办AI发布会:Clarity亮相引乐迷抗议,场地致歉

    IT之家 11 月 22 日消息,据《卫报》今天报道,德国军工初创企业 Helsing 近期在柏林艺术中心 Kraftwerk Berlin 举办 AI 目标识别系统 Clarity 发布活动,引发当地乐迷、电音社区强烈抗议。 据报道,Kraftwerk Berlin 是一座位于柏林的巨型后工业艺术与音乐文化空间,以粗

    来源 AI 行业观察
  9. 伊利诺伊大学团队:为何大模型看不懂不同系统的同一概念?

    2023年,一群研究者遇到了一个很尴尬的问题。他们手里有四个数学证明系统:Lean 4、Isabelle、Metamath、HOL Light。这四个系统里存着成千上万条数学定理,很多其实是同一个定理,只是用了完全不同的符号写法。比如同一个关于三角函数的命题,在Lean 4里可能写成`Real.cos x`,在Meta

    来源 腾讯网
  10. 闲鱼2026年第二季度:日活涨23%、订单涨29%,AI成增长主力

    IT之家 11 月 22 日消息,闲鱼表示,2026 年第二季度平台延续强劲增长势头,日均活跃用户同比增长 23%,订单量同比增长 29%。平台在 AI 加持及持续创新服务下,令个人用户、小微卖家的交易更加频繁便捷。闲鱼表示,今年以来,AI 技术在平台交易全链路的落地补齐了普通用户的经营短板,成为拉动本季度订单量增长的

    来源 腾讯网
  11. 可信数据空间试点落地13城22行业:已形成457个数据集

    IT之家 11 月 22 日消息,据央视新闻报道,作为数据流通利用的新载体,我国首批可信数据空间创新发展试点取得阶段性进展。 据介绍,可信数据空间是一类新的数据基础设施,在确保数据安全前提下,重在提升数据流通和开发利用水平,培育安全可信、开放协同、互利共赢的数据开发应用生态。 最新数据显示,我国首批可信数据空间创新发展

    来源 AI 行业观察
  12. 上海AI实验室联合华东师大训练MLExpert:350亿参数模型自主做实验

    2026年初,如果你去问一个机器学习工程师,什么工作最消耗脑力又最难自动化,很多人会提到一件事:调试一个训练了八小时却跑崩了的模型,然后决定下一步该往哪个方向改。这件事难就难在,它不是一次性的判断题。你改了一个参数,等几个小时跑出结果,发现分数反而掉了,这时候你得想清楚是哪一步出了问题,是数据处理方式不...

    来源 腾讯网
  13. 剑桥词典2026年度词汇选了Human,盖茨和Hinton都在谈人类的位置

    整理 | 郑丽媛出品 | CSDN(ID:CSDNnews)如果让 AI 写一篇文章、画一幅画、唱一首歌,甚至模仿某个明星的声音和长相,现在可能都不是什么难事。可当机器越来越像人时,人类反而开始认真讨论一个听起来有些“奇怪”的问题:什么才是真正的“人类”?近日,剑桥词典(Cambridge Dictionary)公布了

    来源 腾讯网
  14. 华强北火了:日均1.2万外籍客商,AI产品占比升至61%

    本文来源:开机实验室 作者:冯恋阁APEC开会这一周,华强北火了。在APEC领导人会议周新闻中心吹风会上,深圳市商务局局长张非梦向首次来深的访客推荐了三处打卡点:宝安欢乐港湾、福田华强北、罗湖水贝珠宝集聚区。社交媒体上,也有网友晒出“APEC周”的人流,外国游客来来往往,在华强北“买买买”。华强北究竟有什么魔力...

    来源 腾讯网
向下滚动自动加载更多