港大RaPO破解MLLM视觉持续学习遗忘难题，代码已开源
sina qqZone renren ydCloud 0
在大模型与多模态大模型这条线上，靠 verifier 奖励驱动的强化微调（Reinforcement Fine-Tuning，RFT，比如 GRPO）已经被证明能把复杂推理能力拉起来。RFT 属于 On-policy 优化，已有不少研究因此认为它比传统的监督微调（SFT）更不容易把旧知识丢掉。可一旦把它放进视觉持续学习这种硬场景——完全不回放历史数据的类增量持续学习（Class-Incremental Learning）和域增量持续学习（Domain-Incremental Learning）——现有 RFT 范式真能扛住“灾难性遗忘”吗？
香港大学俞益洲教授团队 (https://i.cs.hku.hk/~yzyu/index.html) 近日第一次系统梳理了强化微调在视觉持续学习里的卡点，也第一次点出标准 GRPO 框架里藏着的一个毛病，他们称之为“轨迹级漂移不可知性（Trajectory-level Drift Agnosticism）”，并据此给出了新的 RFT 算法 Retention-aware Policy Optimization（RaPO）。在标准 MLLM 上，RaPO 于图像分类、目标检测、视频动作识别等多项视觉持续学习基准中跑出了更好的性能和抗遗忘表现，代码已经开源。
- 论文题目：Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
- 录用会议：NeurIPS 2026
- 论文地址：https://arxiv.org/abs/2605.09640
- 代码仓库：https://github.com/LMMMEng/RaPO
- 第一作者：香港大学博士生娄蒙 (https://lmmmeng.github.io/)
一、研究动机：标准 GRPO 为何在持续学习中仍然存在遗忘问题？
现实开放环境里，AI 系统得按时间顺序接住一个接一个的新任务，同时不能把先前学会的东西忘掉，也就是要避开灾难性遗忘（Catastrophic Forgetting）。传统 SFT 一般要搭参数隔离、动态扩架构或者蒸馏惩罚这类复杂手段，可到了严苛的无历史数据回放（Rehearsal-free）设定下，新旧知识照样容易打架。虽然近期有工作发现 RFT 天生比 SFT 更能抗遗忘，但放到多任务长序列的视觉挑战里，标准 RFT 到底表现如何，其实还没人细看。
研究团队于是拿经典的 Qwen2-VL-2B 当基础模型，在 ImageNet-R 上搭了一个典型的 Rehearsal-free Few-shot Class-Incremental Learning 实验：200 个类别拆成 10 个彼此不重叠的子任务，每个类别严格只给 5 个带标注样本。
图 1：左图显示，在不设回放的类增量场景里，GRPO 自始至终都比 SFT 表现更好，可它自身的遗忘问题仍然突出；右图则表明，那些拿到相同任务奖励的候选轨迹，相对于上一任务策略的 KL 散度差距很大，而且任务越往后推进，这种差距越大。
图 1 (a) 的结果显示，GRPO 整体确实压过 SFT，这也印证了 RFT 的抗遗忘特性；可任务数量一多，GRPO 的最终准确率还是出现了拉不回来的大幅滑坡。说到底，标准 RFT 依旧摆不平持续学习里稳定性与可塑性（Stability-Plasticity）的失衡。
- 有些轨迹漂移很低：新类别学会了，模型的推理模式和特征空间还高度贴着上一阶段的历史分布。
- 另一些轨迹漂移很高：新任务标签是命中了，但参数空间和表征分布已经剧烈突变，历史知识被甩得干干净净。
问题出在标准 GRPO 只拿 Task Reward 去算相对优势（Group-relative Advantage），优化器于是对这些“答对了却漂得厉害”的轨迹给出了差不多的信用分配（Credit Assignment）。任务序列越往后走，这种对轨迹漂移的“不可知”就越纵容模型滑向高漂移参数区，严重的灾难性遗忘也就躲不开了。
漂移和遗忘之间到底是相关还是因果？团队设计了两个方向相反的 GRPO 变体，直接在 rollout 全对的组内做干预：变体 1 只留低漂移轨迹的正奖励，变体 2 反过来只留高漂移轨迹的正奖励。图 1 (a) 的结果一目了然——前者明显缓解了遗忘，后者明显加剧了遗忘。因果关系就此坐实：留住 Task Reward 高且漂移小的轨迹，正是抗遗忘的关键。不过硬阈值走不通，二值门控会破坏细粒度的信用分配，rollout 数量有限时更新也极不稳定；更合理的路子，是把 drift 本身变成连续的奖励信号。
二、方法：RaPO 重塑强化微调的信用分配与尺度归一
针对上面这些毛病，研究团队提出了 RaPO (Retention-aware Policy Optimization)。它没有给多模态骨干网络加额外的参数模块，也没搭复杂的微调架构，而是从强化学习的 Reward Shaping 和数值稳定性切入，搭了两个核心组件：
1. Retention Reward：基于轨迹级分布漂移的有界奖励重塑
过去对抗遗忘的常见做法，是在总 Loss 里塞一些正则项，比如 KL loss。但全局 KL loss 跟每个 Rollout 拿到的具体奖励是两回事，同一组里完成任务质量相近、遗忘程度却不同的候选轨迹，它分不出来。RaPO 的做法是把轨迹分布漂移直接映射成一个正向的密集标量奖励，也就是 Retention Reward，让它在组内相对优势计算之前就介入：
这条公式算的是 RaPO 的总奖励，即 Task Reward 与 Retention Reward 的加权之和。常规 GRPO 只盯着当前任务怎么学，RaPO 不同：一条轨迹既要答对新任务，又要把漂移压得低，才能拿高分。一组里几条轨迹的 Task Reward 差不多时，drift 更小的那条 Advantage 更大，被正强化得更狠，策略梯度也就持续往“学好新任务、同时不忘旧知识”的方向走。λ 负责平衡这两项权重；这套机制即插即用，分类的精度奖励、检测的 IoU 奖励都能直接拼进来。
2. Cross-Task Advantage Normalization (CTAN)
图 2：CTAN 借助跨任务持久的 EMA 把奖励标准差抹平（a），优势幅度（b）以及训练、评估奖励（c、d）到了任务边界处不再大幅起落。
三、实验验证：五大视觉持续学习基准全面超越
为摸清 RaPO 的通用性，研究团队借 MLLM 的 free-form text 泛化能力，在 5-shot 低资源的严苛设定下，把图像、视频和密集预测场景都拉进来做了详细对比评测。
1. 类增量图像分类 (CIL for Image Classification)
表 1：类增量图像分类结果。四个数据集、两种任务划分下，RaPO 的最终精度均为最高，遗忘率均为最低。
在 ImageNet-R、ImageNet-A、TinyImageNet 和 CUB-200 四个经典基准上（骨干为 Qwen2-VL-2B），传统 SFT 配上持续学习的经典约束（L2 正则、EWC、LwF 之类）都差点意思：连着跑完 10 至 20 个任务，准确率多半掉到 40% 以下。标准 GRPO 算是有点优势，ImageNet-R 10 任务上 Last Accuracy 拿到 74.67%，可遗忘率仍有 20.02%。换成 RaPO 之后，模型最终准确率升到 85.92%，更关键的是遗忘率被压到 4.69% 的极低水平。难度更高的自然对抗样本集 ImageNet-A 上，RaPO 也把准确率抬高了 7.24%、遗忘率降下了 8.72%。
2. 类增量目标检测 (CIL for Object Detection)
表 2：COCO 2017 类增量目标检测结果。
目标检测比图像分类更难：不光要认出语义，还得预测细粒度的空间坐标（团队用 Qwen2-VL-7B 做骨干）。COCO 2017 数据集的 5 任务与 10 任务拆分下，RaPO 的 Box AP 分别为 19.31% 和 19.12%，比标准 GRPO 高出 4.67% 与 4.82%，遗忘率则被压到 1.39% 和 1.37%。这说明 RaPO 的保留机制同样能无缝接上由匈牙利匹配（Hungarian Matching）算出的复杂结构化检测奖励函数。
3. 视频分类与域增量泛化 (Video Classification & DIL)
表 3：类增量视频分类结果（UCF-101 / Kinetics-200）。
表 4：域增量学习结果（图像分类 + 目标检测）。
视频任务带着时空动态维度，RaPO 照样稳。UCF-101 与 Kinetics-200 视频分类任务上，长任务流学完之后 RaPO 都拿到最佳准确率。域增量学习（DIL）不用改标签空间、只面对视觉分布漂移，比如含 6 个域的 DomainNet 和 Pascal 跨域目标检测，RaPO 同样全面压过现有基线；Pascal 系列跨域检测任务上，RaPO 的平均 AP 为 37.18%，连用多域数据联合微调（Joint-Training）的 SFT 上限（35.40%）都被它超了。
4. 可视化洞察：深入解构
推理路径的抗遗忘机理
图 3 给出类增量分类上的定性对比：完成最后一个任务的学习后，GRPO 不止一次把旧类别判错，RaPO 给出的答案则始终没变。
图 4 是类增量检测的定性对比。全部任务学完后，GRPO 找不出早期学过的自行车，RaPO 对旧类和新类都能检出。论文用这些定性样例把模型内部的推理变化直观摆了出来：走完整个多任务流训练，标准 GRPO 碰上早期旧任务样本时，思维链很容易被后面任务学到的先验知识带偏——比如把早期学到的“蜡烛”特征硬往后期学到的“白头海雕”轮廓上凑，或者在目标检测里把早先掌握的“自行车”类目整个漏掉。
相比之下，RaPO 的输出仍然把针对旧任务物体的特征辨析链路保持得很紧，局部关键判别特征也抓得准。这说明 Retention Reward 护住的不只是表层的最终分类标签，它还把多模态大模型的结构化视觉推理轨迹从底层强化、固化了下来。
四、结语
RaPO 为 MLLM 在流式环境下的参数微调和持续学习开出了一条新路。它推翻了“RFT 天然免疫灾难性遗忘”这一既有共识，把“轨迹级漂移不可知”这个关键瓶颈找了出来，再用简单的数学形式重做强化微调的信用分配与方差归一化。接入方式上，RaPO 即插即用，能无缝接进现有的 PPO/GRPO 训练框架，有望成为构建“终身学习且不忘历史经验”的自适应具身与视觉系统的算法基座。
更多理论性质证明与实验结果，可查阅原论文。代码已在 GitHub 全面开源，欢迎社区共同交流。
