RPO新解法:AI画图模型强化学习,噪声该往哪加?
你可能没想过这个问题:训练一个会画图的AI,让它根据人类打分不断优化,到底难在哪里?答案听起来有点反直觉。难点不在于"告诉AI哪张图更好",这个人类反馈模型早就能做了。真正卡住所有人的是另一件事:要让强化学习生效,你得先让生成过程变得"随机",可现在最先进的图像和视频生成模型,走的恰恰是一条确定性路径。这就...
训练一个会画图的AI,让它根据人类打分持续优化,究竟难在何处?这个问题可能很多人没细想过。
答案听上去有些反直觉。卡点并不在“告诉AI哪张图更好”——人类反馈模型早就能干这件事。真正让所有人头疼的是另一件事:强化学习要生效,生成过程得先变得“随机”,可眼下最先进的图像和视频生成模型,偏偏走的是确定性路径。
打个比方,你想训练一名射箭运动员,靠“这箭射得好,下次朝这个方向调”来进步。问题是这名运动员每次动作分毫不差、纹丝不动,你根本没法告诉他“往哪个方向调整”,因为压根不存在方向,一切都是定数。
新加坡国立大学和字节跳动团队的一篇论文《Routing Policy Optimization》(简称RPO),盯上的就是这个尴尬局面。
核心问题:确定性采样器和强化学习的天生矛盾
先说说背景。
如今最火的图像和视频生成模型,像Stable Diffusion 3.5和Wan2.2,走的都是“流匹配”这条技术路线。
流匹配是一种训练方法,让AI学会把随机噪声一步步“整理”成清晰图像或视频,整个过程能用一条确定的数学路径描述,不需要随机扰动。
这类模型有个特点:同一个随机噪声出发,走同一套采样流程,每次生成的结果一模一样。推理阶段这是优点,稳定、可控、速度快。可一到强化学习训练阶段,麻烦就来了。
强化学习的基本逻辑是:智能体做出一个随机的“动作”,环境给出奖励,再依据奖励调整做动作的倾向。动作要是不随机,根本没法学。
早前的研究者,比如DDPO和DPOK,用的是DDPM那套随机去噪思路,本身就带随机性,可以直接套强化学习。后来大家转向流匹配这类确定性模型,怎么办?
Flow-GRPO和DanceGRPO这些工作想了个招:硬把确定性的ODE(常微分方程)采样器改造成随机的SDE(随机微分方程)采样器,强行注入噪声,造出随机动作。这招管用,代价却不小。
想象一下,原本有一条笔直的高速公路,10分钟就能开到目的地,现在为了“制造随机性”,每隔几公里就随机绕个弯。最终也能到,可每次绕弯都得花时间重新规划路线、重新算油耗。SDE转换的代价正是如此:一次确定性的10步生成,变成了需要反复采样、反复计算似然的昂贵过程。不这么改造,模型压根没法用强化学习训练;这么改造之后,训练效率直线下降。
论文里提到,这类方法还衍生出一堆“省钱”补丁:缩小时间窗口、共享分支、一步更新等等。说到底都是在给“强行注入随机性”的代价打补丁,没有从根源上解决问题。
RPO的思路:别动采样器,去动注意力
RPO团队的想法挺巧妙:既然问题出在“采样器本身是确定的”,那干嘛非要在采样器里制造随机性?模型内部其实还有一个天然带随机可能性的地方——注意力机制。
在Transformer模型里,注意力机制指的是:每个token(可以理解为图像或视频被切成的小块)先算出自身与其他所有token之间的“关联程度”,再依据这一程度来分配“关注力度”,这套过程就是注意力。
正常情况下,一个diffusion transformer(扩散变换器)会把图像切成一个个小块,每个小块做注意力计算时,会看遍所有其他小块,这叫“稠密注意力”。RPO的点子是:训练阶段让每个小块不去看所有其他小块,而是按照它自己原本的注意力权重,随机挑选一部分小块去看。
这个“挑选哪些小块可见”的决定,论文里叫做“路由”。
路由说的是每个查询小块(query block)在做注意力计算时,挑哪些关键小块(key block)来关注的一套方案。它可以看成给注意力计算画出的可见范围地图。
随机性就这么被引入了训练过程,而且完全不用碰采样器。采样器还是那个10步确定性流程,只是在某几个关键的去噪时刻,让注意力算得“不那么完整”。
这里有个细节值得细看:路由并非随意挑选,它依照模型原有的注意力权重大小来抽样。权重高的小块被选中的概率更大,低权重的小块同样有机会被抽中,探索的余地就这么留了出来。好比一位老练的厨师挑当天要用的食材,多半会拿常用的那几样主料,偶尔也顺手抓一把不常使的香料试试新搭配。要是一点“偶尔尝试”的机会都不给,厨师就只能困在自己的老套路里,菜品风格始终不变;可完全随机乱抓,又会把整道菜的根基毁掉。路由机制要做的,就是在“大概率延续已知的好搭配”与“保留随机探索空间”之间找平衡。
每个小块还带一个“安全区”:它始终能看到自己所在的那个小块,这是雷打不动的保底。候选集是除自己以外的全部其他小块,路由要做的就是从候选集里挑出一部分,或者干脆选择“还是老老实实用稠密注意力好了”。
还有个技术细节挺有意思:挑选小块的顺序不是按常见的“从左到右、从上到下”光栅扫描来切块,而是用了一种叫吉尔伯特曲线的空间填充曲线。
吉尔伯特曲线是一种空间填充路径,它把二维乃至三维空间填满时遵循一条规则:位置挨着的点,落在曲线上也挨着。按它切出来的小块是紧凑的方块,不会拉成横着的一条长条。
这个讲究不是多余的。要是图省事按从左到右扫的方式切,一个128个token的块很可能横跨图像好几整行,块里塞进来的像素可能天南海北、彼此无关,反倒是真正挨着的像素被甩到了序列里很远的位置。打个比方,给一个房间的家具分组打包,却按“进门先打包第一排”的规矩来,不管这排里混着床、灯还是植物,装出来的箱子自然乱成一团,根本没按“这几件其实摆在同一个角落”来分。改用吉尔伯特曲线,每块就是一个紧凑的小方块,块内像素在物理上确实相挨,路由决策才站得住脚。
路由动作怎么打分:看速度场似然
随机动作有了还不够。强化学习得弄清楚一件事:这个随机动作究竟好不好,模型参数该朝哪个方向调。
RPO的办法挺巧。每做一次路由,那一步生成的“速度”就会被改动,而速度正是模型预测的、决定下一时刻图像往哪儿变的向量。
所谓速度场,是流匹配模型里的一个数学量,它描述当前的噪声状态该朝什么方向、以多快的速度过渡到下一个状态。整个生成过程,就是顺着速度场一步一步走完的。
RPO把被路由扰动过的速度和模型原本的稠密速度摆到一起比——后者没加任何遮罩,是正常算出来的。比较时套一个高斯分布,衡量这次路由带来的偏差有多大,以及这个偏差该怎么体现在参数更新上。
妙就妙在:似然公式里出现的是模型自己的稠密速度场,不是额外挂上去、专为路由服务的临时参数。换句话说,这次更新直接落在“模型正常状态下该怎么算”这件事上,而不是落在“路由该怎么选”上。
这也说明了训练完为什么能把路由整个拿掉:路由自始至终只是个撬杠杆的支点,被撬动、被改变的是支点另一头的稠密速度场。支点一撤,被撬的东西还留在原地。那种专门训一个路由策略网络、推理时还得带着它一起跑的路子就完全不同了——按后一种思路,推理时必须保留路由选择那套逻辑,模型再没法像以前那样跑一套干净的确定性流程。
两次尝试怎么找基准:配对式两轮对照
另一个关键设计随之而来:一次路由选择究竟是好是坏,拿什么衡量。
强化学习里常见的套路是同一场景跑很多次,比如8次,再看这一组里哪次相对更好,用组内平均值当参照。Flow-GRPO这类方法大多这么干。
RPO挑了个更轻的方案:每次只跑两回。两回共享完全一样的文本提示词、一样的初始噪声、一样的路由时刻,连“保持稠密不变”的锚点层也相同,唯一的差别是两次抽到的路由方案不同。
锚点层指的是路由发生的那几个去噪时刻里,被随机指定继续走稠密注意力、不参与路由的那部分Transformer网络层,作用是稳住整体计算。
两轮跑完,比最终打分的差距。分高的那套路由方案被认为更值得鼓励,分低的就该压一压概率。这个差值直接当作“优势信号”,用来指导参数更新。
这像什么呢?好比你是品酒师培训学校的老师,想弄清两种“摇杯手法”哪一种能让学生更准地品出酒的风味差别。让每个学生用8种手法各测一遍再统计平均,确实更全面,可每人要测8次酒,费时费力,疲劳了判断还容易走样。改成只测两次:同一瓶酒、同一个学生、同一个品尝环境,只有摇杯手法不同,两回打分一对比,哪种手法让风味更突出一目了然,还省下六次测试。要是不做这种严格配对,拿两个毫不相干场景下的打分硬比,你根本说不清分差是手法造成的,还是这瓶酒本身质量在波动。
论文把这叫“受控的两轮估计”。它的价值在于把“内容本身的随机波动”这个干扰项牢牢按住,只留“路由方案不同”一个变量,这样算出的差值才真正反映路由选择的好坏,不至于被别的噪声源搅浑。
实验结果:图像和视频都测了
设计思路说了这么多,实际效果如何?
论文验证了两个场景:文本生成图像用Stable Diffusion 3.5 Medium,文本生成视频用Wan2.2-TI2V-5B。
图像这边,奖励模型是HPSv3(人类偏好评分系统的一个版本),训练数据取自PickScore数据集,测试放在DrawBench这个经典图文对齐评测基准上。
结果,RPO训练后的模型在五项指标上全面压过训练前:美学分数从5.19升到5.25,DeQA图像质量分数从3.35升到3.56,反映人类偏好的ImageReward从负0.54提到负0.18,PickScore从20.72升到20.98,UnifiedReward从2.10升到2.32。
更关键的较量是训练效率和Flow-GRPO比。两者同一个底模、同一套奖励信号、同一个10步采样器起步,训练50步后看验证集上的真实表现——注意,这里评估的是撤掉所有随机扰动之后、推理时真正会用的那个稠密模型。
结果:RPO只花25步,就追上了Flow-GRPO跑满50步才到的分数,最终分数还比Flow-GRPO高出1.1分。同样的训练预算,RPO把推理效果的提升速度差不多翻了一倍。
VBench将视频质量拆成16个细分维度,论文借此把RPO与Flow-GRPO、DanceGRPO摆在一起比,结果差距比图像任务更明显。
先看关键数据表。
| 方法 | 训练GPU小时 | 视觉美感 | 画面清晰度 | 主体一致性 | 动作自然度 | 物体类别识别 | 多物体 | 人物动作 | 场景 | 总分 |
|---|---|---|---|---|---|---|---|---|---|---|
| RPO | **24.1** | 62.64 | 68.65 | 98.69 | **99.06** | **85.41** | **61.30** | **84.20** | **40.84** | **82.00** |
| DanceGRPO | 102.3 | 61.74 | 67.69 | 98.38 | 98.75 | 80.81 | 59.34 | 80.00 | 36.95 | 81.46 |
| Flow-GRPO | 75.4 | 60.09 | 67.43 | 97.59 | 97.88 | 79.10 | 59.98 | 81.80 | 36.73 | 81.19 |
训练GPU小时这一列最显眼:RPO用了24.1个,DanceGRPO是102.3个,Flow-GRPO是75.4个。换算下来,RPO的开销约为Flow-GRPO的三分之一、DanceGRPO的四分之一不到。可三分法里,总分压过原始底模81.61分的只有RPO一家。
语义理解这块涨得最突出。物体类别识别多了4.4个百分点,人物动作识别多4.8个百分点,场景理解多3.43个百分点,多物体场景处理多2.15个百分点。落到实际判断上,每识别25个物体类别能多对1个,每做20次动作判断能多对1次。训练时优化的奖励是HPSv3这个综合性人类偏好分数,上述语义指标并不在直接优化范围内,却也同步走高。改进并非只学会讨好打分模型,生成质量的根本处同样被触动。
论文还记下一个耐人寻味的取舍:Flow-GRPO把动态幅度拉高了12.5个百分点,画面一致性、流畅度、美学质量和色彩表现却因此打了折扣。它的优化方向偏向让画面对应“动起来”,其他维度则做了让步;RPO更侧重语义层面的准确对齐,各维度涨得比较均衡。
局限与后续方向
论文没有回避,几处尚未打磨到位的地方都摆了出来。
头一条是架构依赖:方法成立的前提是模型内部有注意力机制可用。换成完全不靠注意力计算的网络架构,这套路由思路就失去了落脚点。
第二条是路由决策还比较粗:一次选择要同时覆盖所有被选中的注意力层和全部注意力头,逐层、逐头地精细调控做不到。给速度场打分时用的是高斯分布假设,这本身就是一种简化近似。真实的路由扰动效果并不严格服从高斯分布,那个似然公式只能算实用替代品,谈不上精确的数学刻画。
论文还提到一个微妙现象,叫“稠密增益衰减”:某些训练过程中,路由训练阶段的奖励分数持续上涨,推理时真正派上用场的稠密模型,其提升幅度却先升后降。模型可能太快学会了讨好那几个被路由扰动过的特定转换点,这种进步没能均匀传导到整个稠密计算流程。问题由此更深一层:只在局部几个时间点注入扰动、却指望全局受益,局部与全局的进步速度未必同步。
写在后面
通读下来,最打动人的是一个很朴素的转向。碰上“过程是确定的,所以没法做强化学习”这类困境,多数人的本能是把确定的东西强行改造成随机的,Flow-GRPO改造采样器走的就是这条路。RPO没有去啃这块硬骨头,转而到模型内部寻找本来就存在、天然带点选择余地的位置。
类似的场景在工程里不少见。问题卡住时,大家习惯去加固那个最显眼、被公认为核心流程的部分,真正的突破口有时却藏在平时不太起眼的旁支模块里。注意力机制一向被当作分配关注度的技术细节,很少有人想到它能被包装成强化学习中的动作空间。
另一点也值得琢磨:论文反复强调训练结束后撤掉路由,恢复原来的确定性推理流程。整套方法从设计之初就带着克制,它不打算造一个依赖路由才能工作的新模型,而是让路由充当一次性的脚手架,楼盖好就拆。这种设计取向,或许比具体技术细节更值得其他研究者参考。
“稠密增益先涨后跌”这个现象,论文没有给出完整解释,只是如实记录。不藏着掖着的态度,反倒让这篇论文的可信度多了几分。
Q&A
Q1:RPO是什么,它解决了什么问题?
A:RPO全称Routing Policy Optimization,是一种给图像和视频生成模型做强化学习训练的新方法。它针对的核心问题是:流匹配类生成模型的采样过程是确定性的,没有天然随机性可供强化学习利用。RPO不动采样器,而是把注意力机制里“选择关注哪些区域”这个决策变成随机动作,训练完成后再撤掉随机机制,恢复原本的确定性推理流程。
Q2:RPO和Flow-GRPO相比优势在哪里?
A:训练效率是最大优势。Stable Diffusion 3.5上,RPO训练25步就追平Flow-GRPO训练50步的效果,最终分数还高出1.1分。Wan2.2视频生成上,RPO的训练GPU小时数约为Flow-GRPO的三分之一,VBench总分却是三种方法里唯一超过原始底模的。
Q3:RPO训练完之后,推理时还需要用到路由机制吗?
根本用不上。RPO 的路由机制只服务于训练环节,作用是产生带随机性的探索动作;模型自身的稠密速度场才是最终被更新的对象。训练一结束,注意力遮罩全部撤除,稠密注意力计算恢复完整,采样器也回到原本的确定性版本。推理过程和训练前没有差别,额外计算开销一点都不会多出来。