港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升
你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁

自 DeepSeek-R1 火了之后,强化学习成了大模型后训练的主流做法,GRPO 更是其中被广泛采用的一套方案。不过它并不完美,近期有研究点出了它的两处短板。
- 一是能力边界没能拓宽,探索不足。GRPO 更像是在模型原有能力范围里玩“跷跷板”,来回权衡探索与利用,采样预算给得很大时(比如 Pass@256),表现甚至还不如基础模型。二是对难度不敏感,不会“因材施教”。其奖励机制不看题目实际难不难、模型当下掌握到什么程度,训练效率因此被拖低。
香港大学屈靓琼教授团队近日从统一的角度解释了上面这两个问题,把它称作“隐式优势对称性(Implicit Advantage Symmetry)”。顺着这个思路,团队提出了新算法 A-GRAE,不增加额外计算成本,就能同时把准确率(Pass@1)和探索能力(Pass@k)提上去。论文已被 NeurIPS 2026 录用,代码也已开源。

- 论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
- 录用会议:NeurIPS 2026
- 论文地址:https://arxiv.org/pdf/2602.05548
- 代码仓库:https://github.com/HKU-HealthAI/A-GRAE
- 第一作者:香港大学博士生余志齐
一、研究动机:
GRPO 为何会陷入双重瓶颈?
在可验证奖励强化学习里,GRPO 会让模型对同一道题生成多条回答,交给验证器打分。拿二值奖励来说,答对得 1 分,答错得 0 分。组相对优势估计的做法是:每条回答的奖励先减掉组内均值,再除以标准差。就这么一个标准化步骤,既决定了组内怎么奖惩,也决定了学习信号在题目之间怎么分配。研究团队认为,这种组相对优势里藏着一种此前没被注意到的“对称性”,正是它挡住了模型继续进化。对称性有两层。

图 1 展示的是 GRPO 里双重隐式优势对称的问题:组内层面,正、负轨迹拿到的优势权重一样大,低概率正确路径的 logits 因此更新不了,探索也就被卡住;样本层面,中等难度样本的绝对优势值加起来最大,困难数据反而练得不够。
- 先说组级别的对称。组内计算相对优势时,正确轨迹和错误轨迹的绝对优势值加起来严格相等,也就是零和性质。结果就是那些“概率极低但正确”的未采样轨迹拿不到直接的奖励信号,模型只能在已有路径上打转,不敢试新解法。
定理 1 讨论行为空间的 Logit 更新:设 B 是模型可能生成的全部轨迹集合,其中既含已采样的集合 G,也含未采样的集合 U。记 C 为组内优势之和(标准 GRAE 会做归一化,使 C=0)。梯度下降时,任意一条轨迹的 Logit 更新量如下:




式中 p 指该样本在组 G 内的经验成功率。定理 2 说的是 GRAE 本身带有难度偏差:策略更新主要由中等难度样本推动,简单样本和困难样本在相同难度偏移下权重完全一样。可这种静态做法没有考虑训练过程中的动态分布偏移——模型能力变强以后,简单样本在样本池里占的比重会越来越大。对称性带来的后果是模型在琐碎数据上过拟合,高难度场景的学习被牺牲掉,演化学习所要求的模型能力非平稳性也就无从满足。
二、控制变量实验:
打破对称性会发生什么?
沿着上面的理论,团队做了受控实验,在组级别和样本级别上强行把对称性打破,看会有什么因果效应。

表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。
实验 I. 打破组级别对称:刻意把正确轨迹的权重调大后,模型出现严重的“熵坍缩”,大采样预算下成绩垫底;反过来压制正确轨迹的权重,模型的探索能力被大幅激发,但训练到后期容易崩掉。

图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。
实验 II. 打破样本级别对称:静态的难度加权策略没有哪一种普遍最优,哪种最好要看具体基准和训练阶段;实验表明,先让模型学简单样本打牢基础模式,后段再转向困难样本冲击能力上限,这种“由易到难”的非平稳动态课程,学习效率高于传统静态固定策略,也高于只盯难题的做法。

图 3 给出的是用 Qwen2.5-Math-7B 打破样本级别对称性的实验:团队对优势值重新缩放,把学习重心分别推向更难的样本(Hard-Focused)和更简单的样本(Easy-Focused),再拿这两种做法与 GRPO、基模型对比。评估指标为 Pass@k。最后一张图记录的是训练集上批次内(within-batch)正确采样响应的数量。
由此得到两条结论。
- 一是压制正确路径的权重对探索有帮助,可压得过头,训练就会不稳。动态衰减机制正是为此而设。
- 二是简单样本在早期能帮模型迅速学会推理格式,到了后期,困难样本才能把性能上限顶开。所以还需要一套由易到难的动态课程。
三、新的统一视角:从优势对称性出发重新审视现有 RL 方法
这项研究在理论上的主要贡献之一,就是给了一个解释力很强的统一视角。以往针对 GRPO 的改进大多各改各的,看上去彼此割裂;可一旦从优势对称性切入,现有各类方法其实都能收进同一个框架。
- 打破“组级别对称性”的那一类,代表是负强化(Negative-reinforcement)和 Pass@k 导向的方法。它们做的事,说到底是压住对正确路径的过度学习,隐式地破掉组级别对称性,从而把探索带起来。
- 另一类强调高熵 Token 或困难样本的方法,则按样本的数据分布重新分配学习信号,破的是样本级别对称性,把注意力挪到不确定或困难的区域。
团队希望这个统计视角能为日后强化学习的奖励设置、优势构造方法提供参照,设计时对着这条性质做检查,避开潜在的边界缩减和样本利用效率不足。
四、A-GRAE:简单而有效的非对称优势重塑方法
前面的分析已经说明,GRPO 固有的优势对称性既压了模型的探索能力,也压了它对难度的适应能力。为补上这两处短板,团队提出非对称组相对优势估计(A-GRAE)框架,对探索激励和样本难度关注做动态调节。要调,就得先有指标量化训练状态,于是批次平均奖励(batch-wise mean reward)被拿来当代理指标:


![]()
式中的 p 指给定问题的采样成功率。模型能力往上走、采样成功率随之提高,困难样本聚焦项(第一项)分到的权重会慢慢加大,简单样本聚焦项(第二项)的权重则相应调小。这样一来,系统会依据样本当前阶段的能力自动完成由易到难的切换。
在组级别上,团队针对正确响应的优势值提出衰减抑制策略(attenuation suppression strategy):早期鼓励探索,后期维持稳定。

其中 α>0 为缩放参数。
初始优势值一旦算出,A-GRAE 框架就能直接嵌进 GRPO 函数或其他 GRPO 变体,即插即用。
五、实验验证:准确率与多样性的双赢
验证覆盖 7 个主流基准,兼顾文本数学推理与多模态推理,包括 AIME2025、AMC23、MATH、Geo3K、MathVision 等;所用基座模型有 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B。
- 全面超越基线:纯文本任务和多模态任务上,A-GRAE 都把 GRPO 及其变体的表现明显推高。以难度最大的 AIME2025 为例,DAPO+A-GRAE 的平均表现(k=1 到 256)为 53.3%,原版 DAPO 则是 52.2%。
- 准确率和多样性的“跷跷板”难题也被解开:以往算法很难让准确率(Pass@1)和多样性(Pass@k)同时往上走,A-GRAE 却两头都拿到了,回答更准,大采样预算下多样性也维持在高位。
- 泛化能力同样突出:在多模态医疗推理和分布外(OOD)任务中,A-GRAE 也带来明显提升,说明方法具有普适性。

表 2:Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。加粗与下划线的数字分别为每个 k 值下的最佳和次佳结果。具体来说,AIME2025 和 AMC23 上各跑了 16 次运行(实验),其余基准测试上跑了 4 次运行。
表 3 给出的是 Qwen2.5-VL-3B 在多模态数据集上的准确率。
六、结语
过去学界普遍认为 GRPO 天生不具备探索能力,这项工作打破了这一看法。它给出一个统一的观察角度,把两条研究路线——一条看重多样性、一条盯着准确率——放进了“打破优势对称性”这同一个框架里。沿着这个思路做出的 A-GRAE,公式写得极简,也不需要额外算力,实测中效果明显,为 RLVR 阶段的算法改进打下了一块新基石。
想看更细的理论推导、证明过程和完整实验数据,可以翻阅原论文。代码已经全部开源,欢迎社区来交流讨论。