MEND让AI绘图先算账：改图收益抵不过成本就不动

朋友帮你改方案，改得好不好暂且不论，整个方案都得推倒重写一遍——哪怕其中一半内容原本就挺不错，也逃不过全部重来。这种浪费，你有没有碰到过？

听起来挺不划算，可如今大多数AI绘图模型“学习人类喜好”时，走的恰恰就是这条路。

先说为什么这事重要。Stable Diffusion这类文生图模型刚训练出来时，画得并不讨喜，构图可能别扭，细节也可能缺，对文字描述的理解也不够准。研究者于是想了个招：拿一个“打分模型”给生成的图评分，分越高表示越合人类审美，再让AI朝着“拿高分”的方向不断调整自己。这套流程叫“奖励后训练”。

**奖励模型*：一种经过训练、能给图片打分的AI系统，分数越高代表图片越符合人类的审美偏好或任务要求。

问题是，“朝着拿高分的方向调整”说着轻巧，真做起来却埋着一个大坑。

得克萨斯大学奥斯汀分校、谷歌和科罗拉多大学博尔德分校的研究团队在论文里指出，现有做法大致分两派，而这两派各有各的明显毛病。

头一派叫“重新加权”，Flow-GRPO和DiffusionNFT是代表。它们的思路是：模型生成图片的方式不动，只在训练时给得分高的样本更大权重，得分低的样本权重压小一点，相当于“多学好学生，少学差学生”。不过里面藏着一个KL惩罚项，用来防止模型跑偏太远。

**KL惩罚*：一种数学约束，用来限制模型更新后的输出分布和原始分布差太多，防止训练跑偏。

毛病在于，它只会在已有样本身上“加码”，没法真正造出新的、更好的样本。打个比方，老师批改作文，只会给写得好的学生再添五分，却从不手把手教写得差的学生怎么改句子。时间一长，好学生被反复表扬强化，差学生永远原地踏步，甚至某些本来挺有特色、只是风格小众的文章，因为打分规则不讨喜而被长期忽视，最后这种风格在课堂上彻底绝迹。论文管这个现象叫“丢失难学的模式”，并用一个三峰分布的玩具实验证实了这一点：经过KL重新加权后，原本占22%比例的那个“冷门峰”的数据直接被压没了。

另一派叫“奖励反向传播”，ReFL和DRaFT是代表。这派更直接：既然打分模型能告诉你往哪个方向改图能让分数变高，那就把这个方向的梯度一路反向传播回去，推着每张图都往高分方向挪一点。

问题同样明显：不管这张图原本分数是高是低，反正都要挪一挪。

图都画得挺好，本来不动也行，可这套机制偏要再推一把。于是，那些已经够完美的样本也被做了没必要的“纠正”，而且没人去核实这一挪是否划算，万一反而把图片推进一个怪异、失真的区域呢？论文用那个三峰玩具实验把后果演示了一遍：不受约束的梯度上升，会把多达16%的数据样本直接推到“没有真实数据支撑”的空白地带。说白了，模型开始凭空捏造出一些本不存在、有毛病的图像特征。

怎么在“提高奖励分数”和“不破坏模型原本就画得不错的能力”之间找到平衡？这就是这篇论文要解决的核心矛盾。

MEND的核心思路：先问值不值，再决定动不动

研究团队提出的方法叫MEND，全称是“通过近端速度匹配进行的强化学习”。名字挺拗口，核心逻辑却特别直白：一张图片要不要改，得先算一笔账，改动带来的收益是不是配得上改动的成本。

**近端速度匹配**：这是MEND方法的核心机制——模型只给那些“改动带来的收益高过改动成本”的样本重新设定学习目标，而不是对所有样本一律动手。

这套机制具体分成三步，论文管它叫“设置上限、提议候选、验证通过”。

头一步是划一条上限。面对同一段文字描述（比如“一只猫坐在茶杯里”），模型先生成一批图片，再看这批图里评分排在前25%的那部分，把它们的分数当成一条“封顶线”。你的分数一旦越过这条线，哪怕实际得分更高，系统也不再推着你继续往上冲，维持原样就行。

这么做是为了防止模型一门心思扑在那些已经够讨喜的图片风格上，把力气全花在刷高分上，别的图片一概不管。打个比方，班里评奖学金，如果年年都是年级前几名拿奖，后面的同学就没了努力的劲头，整个班的多样性只会越来越差。划一条“封顶线”，等于说：已经考到95分以上的同学先放一放，去看看那些70多分、80多分的同学能不能往上提一提。那要是不设这个上限呢？论文的消融实验给了答案：去掉“封顶”规则后，多样性指标从0.297滑到0.287，而且继续刷高分的那部分样本会不断挤占本该用来“扶持”中等样本的训练资源。

第二步是提出候选。对那些还没够到封顶线的图片，系统先算出“往哪个方向调能让奖励模型给分更高”，这个方向就是奖励梯度；再顺着这个方向，分别走一小步、中等步幅、大步幅三种幅度试一遍，得到三张候选图片。

**奖励梯度*：指在数学上，让打分函数的输出值增长最快的调整方向，可以理解为“往哪个方向改最讨喜”的指南针。

有个细节：系统还把“完全不改”也算作一个候选项，和那三张改过的候选图片放在一起比较。

第三步是验证过关，这也是整套机制里最要紧的一环。系统用一个公式给每张候选图片算出一个综合分，等于封顶后的奖励分数减去一笔“搬家费”，这笔费用与挪动距离的平方成正比。综合分最高的那张胜出，成为这张图片最终用于训练的目标。

如果不改的那个选项综合分最高，就说明“搬家费”太贵了，不值得挪动，这张图片就保持原样。

这套“搬家费”的设定相当巧妙。它按位移距离的平方来计费，挪得越远，代价涨得越快，不是线性增加，而是加速上升。打个比方，搬家公司收费就是这样：搬到隔壁小区只收个基础运费，可要是搬到几百公里外的城市，运费就不会按距离简单翻倍，路途风险、油耗、人工时长全都会叠加进去，涨得飞快。有了这层约束，系统只会去做那些“性价比很高”的小幅调整，不会动不动就把图片改得面目全非。

论文的统计结果也印证了这一点：被接受的调整几乎清一色走了最小的那一档步幅，也就是三个候选步幅里最短的那个。可见这套验证机制确实在严格把关，只有“稳赚不赔”的小调整才能过审。

为什么叫“速度匹配”，而不是直接改图片

这里得先说说文生图模型怎么工作。以Stable Diffusion这类模型为例，出图不是一步到位，而是从一团随机噪声起步，经过很多步逐渐“去噪”，一点点把噪声雕琢成有意义的画面。从数学上看，这个过程可以理解成一股“流”，模型每一步都要预测一个“速度”，下一步往哪个方向走、走多快，都由它决定。

**流模型**：这类生成式 AI 模型会模拟一个连续过程——从随机噪声一步步过渡到真实数据，图片就是这样生成的；过程中模型得在每一步预测出一个“速度”，用来指引变化方向。

MEND改的不是最终生成的图片，而是模型在生成途中某一步预测出的“速度”。它在轨迹上固定一个状态点，让模型学习：在这个状态点上，速度应当朝着“经过验证的调整方向”修正，而不是简单粗暴地命令模型直接画出目标图片。

之所以这样设计，是因为图片最终的样子和某个中间步骤的预测之间，隔着好几步噪声演化。若直接拿最终图片当训练目标，中间那些不相干的“噪声演化差异”会一股脑儿混进训练信号，等于让模型去学与奖励无关的噪音。只针对经过验证筛选后的“位移量”调整速度，训练信号就干净得多，里面只剩真正有价值的调整信息。

没有裁判、没有参照物，这套机制为什么还能稳

论文里还有个挺有意思的做法：KL惩罚、冻结的参照模型、按优势值加权，这三样东西被彻底抛弃了。

**冻结参照模型**：不少强化学习方法会额外留一份模型副本，它不参与更新、始终维持原样，作用是对照基准，免得训练中的模型偏离太远。

这三样原本都是给训练“拴根绳子”，免得模型在优化奖励时跑得太远、忘了自己本来该是什么样。MEND偏偏不用，换成了一个“滞后的行为适配器”——它以指数滑动平均的方式跟着训练中的模型缓慢更新，而不是死守最初那个版本。

好比教练带新人：传统办法是让新人时刻对照一段“标准动作录像”，偏多了就拉回来；MEND更像教练自己也在慢慢调整示范动作，新人跟着教练一起进步，只是教练调整的速度比学员慢很多，起到“锚定但不僵化”的作用。

论文从理论上给了两个保证。其一，任何被接受的调整，带来的奖励提升一定超过它的位移代价，而且样本越接近那条封顶线，允许挪动的最大距离就越小，直到趋近于零。其二，在起始参数点上，整个训练损失函数的下降方向，恰好等于把奖励梯度反向传播到那些被接受调整的样本上、再按各自选中的步长加权，而被保留不动的样本完全不产生梯度贡献。

这两条说明，MEND本质上是保留了“奖励反向传播”的思路，但多出两道审核：该不该动，以及该动多远。ReFL和DRaFT那套方法缺的环节，正好被补上了。

实验结果说了什么

研究团队在Stable Diffusion 3.5-M模型上做了大量对比实验。先看最核心的一组数据。

在同等更新预算下，也就是训练步数相同、资源消耗相当的时候，MEND在PickScore这个评分指标上，100次更新后拿到24.03分；作为对比，ReFL是23.92分，DiffusionNFT是23.43分。

**PickScore*：一种基于人类偏好数据训练出来的图像评分模型，广泛用于衡量AI生成图片是否符合人类审美喜好。

更新效率的对比更值得看。Flow-GRPO训练了大约4000次更新才达到它的最终效果，MEND只用了100次，训练量约为前者的四十分之一，就在六项评测指标里的五项上超过了Flow-GRPO，唯独“美学评分”这一项稍微落后一点点（5.88对5.90，差距很小）。

论文还试了多种训练奖励目标，包括PickScore、ImageReward、HPSv2.1、CLIPScore，每一种目标上MEND都稳定超过了ReFL和DiffusionNFT。

**ImageReward、HPSv2.1、CLIPScore*：都是不同的图片质量评分模型，各自基于不同的训练数据和评判标准，用来从多个角度衡量AI生成图片的好坏。

MEND还不挑模型。研究者把它用到SD3-M和蒸馏版的Z-Image-Turbo上，同样的更新预算下都带来了明显提升。比如在SD3-M上，PickScore从20.36分提升到了23.70分，超过了另一个对比方法Linear-DPO的20.96分。

有意思的是，MEND 训练一次 SD3.5-M 模型，用 3 块 GB200 显卡，只要 10 个 GPU 小时。换句话说，每来一个新的评分标准，或者换一个模型基座，重跑一次奖励训练的花费已经很低，不再是动辄几天乃至几周的大工程。

论文还做了一项很细致的分布距离分析，用DreamSim这个工具测量微调后的模型生成的图片与原始未微调模型生成的图片之间差了多远。结果显示，在相同的“距离原模型多远”这个条件下，MEND的奖励分数始终更高，相当于用更少的“走偏”代价换来了更多的性能提升。

代价和局限

不过，这套办法并非没有边界。论文本身列了几条限制：MEND 要求奖励模型能够求梯度，一旦打分标准没法微分——像人工打分，或者靠某些离散规则来判定——这套机制就不能直接搬过去用。

还有一点，论文给出的理论保证只覆盖“每一轮训练”内部挑目标那一步，长期训练下来会不会过度优化，它管不了。研究团队为此做了一次挺坦诚的测试：把训练一路推到 200 次更新，再专门盯着一个公认容易被“过度讨好”的美学评分模型练。那个分数从 5.2 一路涨到 9.7，可其余评测指标同时全线垮掉。

这跟论文里一维玩具模型实验的警示对得上：假如奖励模型自己在某个方向上判断有误，而这个方向又正好落在样本够得着的地方，验证机制识别不出这个错，只能把问题暴露的时间往后拖，没法从根上堵住。按论文的实验，在那个简化理论模型里，前 15 轮 MEND 都把每个数据峰的分布比例稳稳守住了；第 16 轮之后情况变了——学到的奖励模型在真实数据边界之外还在往上走，验证机制于是开始放行那些“跑出数据边界”的调整，到第 18 轮，MEND 的表现甚至比完全不设审核的梯度上升还差。

这个发现的分量不轻。它说明“先算账再动手”审的是“奖励模型报的那本账”，并非“真实世界那本账”。账本本身有错，审核流程照样被骗过去。论文因此反复提醒：评估时得看那些没参与训练的独立指标，不能只盯训练用的奖励分数。

Q&A

Q1：MEND 是什么？它主要解决什么问题？答：这是一种给 AI 绘图模型做强化学习训练的新方法。它的核心思路，是只给“改动收益大于改动代价”的图片样本设学习目标，从而避开以往方法的两个常见毛病——要么对所有样本一视同仁地推，要么只给已经讨喜的样本加权重。

Q2：跟 ReFL、DiffusionNFT 这些方法比，MEND 优势在哪？答：训练预算相同的情况下，MEND 在 PickScore 等多项评分上全面压过 ReFL 和 DiffusionNFT；训练步数只要大约四十分之一，就能超过训练了几千次更新的 Flow-GRPO；在 Stable Diffusion 3.5-M 上，单次训练只需 10 个 GPU 小时。

Q3：这套方法有局限吗？答：有。奖励模型必须可微分，这是一道门槛；训练时间拉长，仍可能把某个评分标准优化过头，拖垮其他指标。论文的实验里，继续训到 200 轮后专门针对美学评分训练，其他所有指标就全面下滑了。