港大团队提出A-GRAE:不增成本,GRPO准确率与探索双提升
你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO 隐藏的...
DeepSeek-R1 走红之后,强化学习成了大模型后训练的一条主流路线,GRPO 更是其中的标准做法。不过它并不完美,近期有研究点出了两个明显短板。
-
一是能力边界没被打开,探索不够。GRPO 更像在模型已有的能力范围内玩“跷跷板”,也就是在探索与利用之间来回权衡;到了大采样预算下(比如 Pass@256),它的表现甚至比基础模型还差。
-
二是不会“因材施教”,对难度不敏感。题目的实际难度、模型当下掌握到什么程度,GRPO 的奖励机制都没考虑,训练效率因此偏低。
香港大学屈靓琼教授团队近日针对上述问题,首次给出一个统一视角来解释这两处缺陷,并把它称作“隐式优势对称性(Implicit Advantage Symmetry)”。顺着这个思路,团队提出了新算法 A-GRAE:不增加额外计算成本,就能同时把模型准确率(Pass@1)和探索能力(Pass@k)明显拉高。论文已被 NeurIPS 2026 录用,代码也已开源。
-
论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
-
录用会议:NeurIPS 2026
-
论文地址:https://arxiv.org/pdf/2602.05548
-
代码仓库:https://github.com/HKU-HealthAI/A-GRAE
-
第一作者:香港大学博士生余志齐
一、研究动机:
GRPO 为何会陷入双重瓶颈?
在可验证奖励强化学习里,GRPO 的做法是让模型对同一道题生成多条回答,交给验证器打分。拿二值奖励来说,答对给 1 分,答错给 0 分。组相对优势估计会先把每条回答的奖励减掉组内均值,再除以标准差。就这么一个标准化步骤,既管着组内怎么奖惩,也管着题目之间怎么分配学习信号。研究团队认为,这套组相对优势里藏着一种此前没被发现的“对称性”,而它正是卡住模型继续进化的原因。这种对称性落在两个层面上:
图 1:GRPO 中的双重隐式优势对称性问题。组内这一级,正负轨迹的优势权重一样大,低概率正确路径的 logits 因此没法更新,探索被挡住;样本这一级,中等难度样本的绝对优势值之和最大,困难数据就训练不足。
-
先看组级别的对称。组内算相对优势时,正确轨迹和错误轨迹的绝对优势值之和严格相等,也就是零和性质。结果呢,那些“概率极低但正确”的未采样轨迹拿不到直接的奖励信号。模型只能在已有路径上兜圈子,不敢去试新解法。
定理 1. 行为空间的 Logit 更新:设 B 是模型所有可能生成的轨迹集合,其中包含已采样的集合 G 和未采样的集合 U。令 C 为组内优势之和,在标准 GRAE 中归一化使得 C=0。梯度下降下,任意一条轨迹的 Logit 更新量为:
式子里 η 是学习率,
指示函数用来判断该轨迹是否属于采样集合 G,
而模型当前生成这条轨迹的概率是另一个量。标准 GRAE 里,优势归一化带来了零和对称(C=0)。采样到的正确轨迹和错误轨迹会被直接奖惩,可未采样的轨迹在行为空间里得不到直接更新,那些没被采样到、却正确的潜在新路径也就学不到,模型的探索被压住了。
-
再看样本级别的对称团队推导发现,GRPO 分给单条 prompt 样本的更新幅度正比于
(p 为成功率)。也就是说,中等难度 (p=0.5) 拿走了最大权重,简单题(如 p=0.75)和困难题(如 p=0.25)的权重居然一模一样。这种死板的“静态对称”没有考虑模型能力在训练中会动态变化。
定理 2 讲的是更新幅度和样本难度之间的关系。设某个查询(也就是一个样本)对应一组轨迹 G,其二元奖励为。
在组相对优势估计下,这一组内绝对优势值的总和可以推导成:
这里 p 指该样本在组 G 中的经验成功率。定理 2 点出的问题,是 GRAE 本身就带着难度偏差:更新主要由中等难度的样本驱动,而简单样本和困难样本在同样幅度的难度偏移下拿到的权重完全一样。可这套静态做法没有考虑训练过程中的分布漂移——模型能力一强,简单样本在样本池里占的比例就越来越大。对称性带来的后果,是模型在琐碎数据上过拟合,高难度场景反而学不到,演化学习对模型能力非平稳性的要求也就落空了。
二、控制变量实验:
把对称性打破,结果会怎样?
沿着上面的理论,团队做了受控实验,在组级别和样本级别上强行打破这种对称,看因果效应到底出在哪。
表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。
实验 I 针对组级别对称:刻意放大正确轨迹的权重后,模型出现严重的“熵坍缩”,大采样预算下成绩排在最后;反过来压制正确轨迹的权重,探索能力被大幅激发,但训练到后期容易崩。
图 2:用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们把正确轨迹的优势值放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant),再和 GRPO 及基模型比性能,评估指标为 Pass@k。最后一张图画的是训练集上的熵动态变化。
实验 II 专门检验样本级别的对称性能否打破。结论是:不存在放之四海皆准的静态难度加权方案,最优策略要看具体基准和训练阶段。实验还显示,训练前期先啃简单样本、把基础模式吃透,后期再转向困难样本冲击能力上限,这种“由易到难”的非平稳动态课程,学习效率高于传统静态固定策略,也高于只盯难题的做法。
图 3 给出的是用 Qwen2.5-Math-7B 打破样本级别对称性的结果。做法是重新缩放优势值,把学习重心分别挪向更难的样本(Hard-Focused)和更简单的样本(Easy-Focused),再拿它们与 GRPO 及基模型比性能,评估指标为 Pass@k。最后一张图展示训练集上批次内(within-batch)正确采样响应的数量。
小结(Takeaway):压制正确路径的权重对探索有帮助,但压得太狠会让训练不稳定,所以需要一种动态衰减机制。
-
与之对应,简单样本在早期能帮模型迅速学会推理格式,困难样本则在后期用来突破性能上限,因此需要一套从易到难的动态课程机制。
三、新的统一视角:从优势对称性出发重新审视现有 RL 方法
这项研究在理论上的主要贡献之一,是给出了一个解释力很强的统一视角。过去针对 GRPO 的改进往往各做各的,彼此割裂;但若从优势对称性切入,现有各类方法其实都能收进同一个框架。
-
打破“组级别对称性”:现有的负强化(Negative-reinforcement)方法和 Pass@k 导向的方法,说到底都是靠抑制对正确路径的过度学习,隐式打破组级别的对称性,以此推动模型探索。打破“样本级别对称性”:那些强调高熵 Token 或困难样本的方法则不同,它们依据样本的数据分布重新分配学习信号,打破的是样本级别的对称性,把焦点挪向不确定或困难的区域。
我们期待这一统计视角能为今后强化学习的奖励设置或优势构造方法提供参考,设计时对照这一性质,避开潜在的边界缩减和样本利用效率不足问题。
四、A-GRAE:一种简单而有效的非对称优势重塑方法
先前的分析已经指出,GRPO 固有的优势对称性会削弱模型的探索能力和难度适应能力。针对这些局限,我们提出非对称组相对优势估计(A-GRAE)框架,用来动态调节探索激励和对样本难度的关注。要做到这一点,得先有一个能刻画训练状态的度量指标,于是我们引入批次平均奖励(batch-wise mean reward)作为代理指标:
这里的 B 指的是一个批次里轨迹的总数量,
而当前这一步的平均奖励就用这个符号来表示。该数值越大,说明模型在这个批次上的本事越强。接下来我们在样本级别设计了一套动态的注意力偏移机制,训练往前走,学习的重心也就从容易的样本慢慢挪到难的样本上:
式子里的 p 代表针对某个给定问题的采样成功率。模型能力往上走、采样成功率随之提高,困难样本聚焦项(也就是第一项)分到的权重会一点点加大,简单样本聚焦项(第二项)的权重则相应缩小。这样一来,就能依据样本在当前阶段的能力,动态完成由易到难的自适应切换。
落到组这一级,团队针对正确响应的优势值给出了衰减抑制策略(attenuation suppression strategy)。它的作用是在训练前期鼓励探索,到了后期则维持稳定:
式中 α>0,是一个缩放参数。
也就是说,初始优势值一旦算出来,团队提出的 A-GRAE 框架便能直接嵌入 GRPO 函数或者别的 GRPO 变体里,即插即用。
五、实验验证:
准确率与多样性可以兼得
团队在 7 个主流基准上做了大范围验证,覆盖文本数学推理与多模态推理两类任务(包括 AIME2025、AMC23、MATH、Geo3K、MathVision 等),基座模型则用到 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B 等。
-
纯文本任务也好,多模态任务也罢,A-GRAE 都把 GRPO 及其变体的成绩往上抬了一截,全面压过基线。最难的 AIME2025 上,DAPO+A-GRAE 在 k=1 到 256 下的平均表现为 53.3%,原版 DAPO 则是 52.2%,差距明显。
-
准确率(Pass@1)和多样性(Pass@k)过去常常顾此失彼,A-GRAE 把这道「跷跷板」难题解开了:回答更准,大采样预算下多样性也保得住,两头都赢。多模态医疗推理和分布外(OOD)任务里,它同样带来明显提升,说明这套方法适用范围不窄。
表 2:Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。加粗和下划线的数字分别代表每个 k 值下的最佳和次佳结果。实验次数方面,AIME2025 和 AMC23 各跑了 16 次,其余基准测试为 4 次。
表 3:Qwen2.5-VL-3B 在多模态数据集上的准确率。
六、结语
此前学界普遍认为「GRPO 天然缺乏探索能力」,这项工作打破了这一共识,并给出一个统一视角:把强调多样性和提升准确率的两大研究流派,一并收进「打破优势对称性」的框架里。A-GRAE 正是在这一视角下提出,公式设计极简,也不需要额外算力,实际验证中效果扎实,为 RLVR 时代的算法优化铺下一块新基石。
理论推导、证明细节和完整实验数据都在原论文里。代码已全面开源,欢迎社区交流探讨。