港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升

资讯 网易科技 作者:网易 全文 3960 字 · 约 10 分钟读完 配图 15 张

你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 1)

自 DeepSeek-R1 火了之后,强化学习成了大模型后训练的主流做法,GRPO 更是其中被广泛采用的一套方案。不过它并不完美,近期有研究点出了它的两处短板。

  1. 一是能力边界没能拓宽,探索不足。GRPO 更像是在模型原有能力范围里玩“跷跷板”,来回权衡探索与利用,采样预算给得很大时(比如 Pass@256),表现甚至还不如基础模型。二是对难度不敏感,不会“因材施教”。其奖励机制不看题目实际难不难、模型当下掌握到什么程度,训练效率因此被拖低。

香港大学屈靓琼教授团队近日从统一的角度解释了上面这两个问题,把它称作“隐式优势对称性(Implicit Advantage Symmetry)”。顺着这个思路,团队提出了新算法 A-GRAE,不增加额外计算成本,就能同时把准确率(Pass@1)和探索能力(Pass@k)提上去。论文已被 NeurIPS 2026 录用,代码也已开源。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 2)

  • 论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
  • 录用会议:NeurIPS 2026
  • 论文地址:https://arxiv.org/pdf/2602.05548
  • 代码仓库:https://github.com/HKU-HealthAI/A-GRAE
  • 第一作者:香港大学博士生余志齐

一、研究动机:

GRPO 为何会陷入双重瓶颈?

在可验证奖励强化学习里,GRPO 会让模型对同一道题生成多条回答,交给验证器打分。拿二值奖励来说,答对得 1 分,答错得 0 分。组相对优势估计的做法是:每条回答的奖励先减掉组内均值,再除以标准差。就这么一个标准化步骤,既决定了组内怎么奖惩,也决定了学习信号在题目之间怎么分配。研究团队认为,这种组相对优势里藏着一种此前没被注意到的“对称性”,正是它挡住了模型继续进化。对称性有两层。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 3)

图 1 展示的是 GRPO 里双重隐式优势对称的问题:组内层面,正、负轨迹拿到的优势权重一样大,低概率正确路径的 logits 因此更新不了,探索也就被卡住;样本层面,中等难度样本的绝对优势值加起来最大,困难数据反而练得不够。

  • 先说组级别的对称。组内计算相对优势时,正确轨迹和错误轨迹的绝对优势值加起来严格相等,也就是零和性质。结果就是那些“概率极低但正确”的未采样轨迹拿不到直接的奖励信号,模型只能在已有路径上打转,不敢试新解法。

定理 1 讨论行为空间的 Logit 更新:设 B 是模型可能生成的全部轨迹集合,其中既含已采样的集合 G,也含未采样的集合 U。记 C 为组内优势之和(标准 GRAE 会做归一化,使 C=0)。梯度下降时,任意一条轨迹的 Logit 更新量如下:

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 4)

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 5)

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 6)

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 7)

式中 p 指该样本在组 G 内的经验成功率。定理 2 说的是 GRAE 本身带有难度偏差:策略更新主要由中等难度样本推动,简单样本和困难样本在相同难度偏移下权重完全一样。可这种静态做法没有考虑训练过程中的动态分布偏移——模型能力变强以后,简单样本在样本池里占的比重会越来越大。对称性带来的后果是模型在琐碎数据上过拟合,高难度场景的学习被牺牲掉,演化学习所要求的模型能力非平稳性也就无从满足。

二、控制变量实验:

打破对称性会发生什么?

沿着上面的理论,团队做了受控实验,在组级别和样本级别上强行把对称性打破,看会有什么因果效应。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 8)

表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。

实验 I. 打破组级别对称:刻意把正确轨迹的权重调大后,模型出现严重的“熵坍缩”,大采样预算下成绩垫底;反过来压制正确轨迹的权重,模型的探索能力被大幅激发,但训练到后期容易崩掉。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 9)

图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。

实验 II. 打破样本级别对称:静态的难度加权策略没有哪一种普遍最优,哪种最好要看具体基准和训练阶段;实验表明,先让模型学简单样本打牢基础模式,后段再转向困难样本冲击能力上限,这种“由易到难”的非平稳动态课程,学习效率高于传统静态固定策略,也高于只盯难题的做法。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 10)

图 3 给出的是用 Qwen2.5-Math-7B 打破样本级别对称性的实验:团队对优势值重新缩放,把学习重心分别推向更难的样本(Hard-Focused)和更简单的样本(Easy-Focused),再拿这两种做法与 GRPO、基模型对比。评估指标为 Pass@k。最后一张图记录的是训练集上批次内(within-batch)正确采样响应的数量。

由此得到两条结论。

  1. 一是压制正确路径的权重对探索有帮助,可压得过头,训练就会不稳。动态衰减机制正是为此而设。
  2. 二是简单样本在早期能帮模型迅速学会推理格式,到了后期,困难样本才能把性能上限顶开。所以还需要一套由易到难的动态课程。

三、新的统一视角:从优势对称性出发重新审视现有 RL 方法

这项研究在理论上的主要贡献之一,就是给了一个解释力很强的统一视角。以往针对 GRPO 的改进大多各改各的,看上去彼此割裂;可一旦从优势对称性切入,现有各类方法其实都能收进同一个框架。

  • 打破“组级别对称性”的那一类,代表是负强化(Negative-reinforcement)和 Pass@k 导向的方法。它们做的事,说到底是压住对正确路径的过度学习,隐式地破掉组级别对称性,从而把探索带起来。
  • 另一类强调高熵 Token 或困难样本的方法,则按样本的数据分布重新分配学习信号,破的是样本级别对称性,把注意力挪到不确定或困难的区域。

团队希望这个统计视角能为日后强化学习的奖励设置、优势构造方法提供参照,设计时对着这条性质做检查,避开潜在的边界缩减和样本利用效率不足。

四、A-GRAE:简单而有效的非对称优势重塑方法

前面的分析已经说明,GRPO 固有的优势对称性既压了模型的探索能力,也压了它对难度的适应能力。为补上这两处短板,团队提出非对称组相对优势估计(A-GRAE)框架,对探索激励和样本难度关注做动态调节。要调,就得先有指标量化训练状态,于是批次平均奖励(batch-wise mean reward)被拿来当代理指标:

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 11)

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 12)

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 13)

式中的 p 指给定问题的采样成功率。模型能力往上走、采样成功率随之提高,困难样本聚焦项(第一项)分到的权重会慢慢加大,简单样本聚焦项(第二项)的权重则相应调小。这样一来,系统会依据样本当前阶段的能力自动完成由易到难的切换。

在组级别上,团队针对正确响应的优势值提出衰减抑制策略(attenuation suppression strategy):早期鼓励探索,后期维持稳定。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 14)

其中 α>0 为缩放参数。

初始优势值一旦算出,A-GRAE 框架就能直接嵌进 GRPO 函数或其他 GRPO 变体,即插即用。

五、实验验证:准确率与多样性的双赢

验证覆盖 7 个主流基准,兼顾文本数学推理与多模态推理,包括 AIME2025、AMC23、MATH、Geo3K、MathVision 等;所用基座模型有 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B。

  • 全面超越基线:纯文本任务和多模态任务上,A-GRAE 都把 GRPO 及其变体的表现明显推高。以难度最大的 AIME2025 为例,DAPO+A-GRAE 的平均表现(k=1 到 256)为 53.3%,原版 DAPO 则是 52.2%。
  • 准确率和多样性的“跷跷板”难题也被解开:以往算法很难让准确率(Pass@1)和多样性(Pass@k)同时往上走,A-GRAE 却两头都拿到了,回答更准,大采样预算下多样性也维持在高位。
  • 泛化能力同样突出:在多模态医疗推理和分布外(OOD)任务中,A-GRAE 也带来明显提升,说明方法具有普适性。

港大团队提出A-GRAE:不增加算力,GRPO的准确率与探索能力同时提升(配图 15)

表 2:Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。加粗与下划线的数字分别为每个 k 值下的最佳和次佳结果。具体来说,AIME2025 和 AMC23 上各跑了 16 次运行(实验),其余基准测试上跑了 4 次运行。



表 3 给出的是 Qwen2.5-VL-3B 在多模态数据集上的准确率。

六、结语

过去学界普遍认为 GRPO 天生不具备探索能力,这项工作打破了这一看法。它给出一个统一的观察角度,把两条研究路线——一条看重多样性、一条盯着准确率——放进了“打破优势对称性”这同一个框架里。沿着这个思路做出的 A-GRAE,公式写得极简,也不需要额外算力,实测中效果明显,为 RLVR 阶段的算法改进打下了一块新基石。

想看更细的理论推导、证明过程和完整实验数据,可以翻阅原论文。代码已经全部开源,欢迎社区来交流讨论。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI高薪叙事之外:985硕士12小时连轴转,校招门槛抬到社招

    晚上11点,杨涵合上电脑,12小时连轴转暂告一段落。但人下班了,神经没下,一旦数据有问题,她要24小时待命。 杨涵毕业已经3年,是985计算机本科、QS前20院校硕士,始终在AI这条线上,在几家大厂攒过实习和履历,还当过初创公司AI方向负责人。 这扎实的简历,配上超高的工作强度,按理说收入该傲视群雄。但眼下杨涵的月薪,

    来源 AI 行业观察
  2. AI让我们更忙?考恩、索洛、杰文斯三个悖论

    先说个我自己的直观感受: AI写文章越来越牛逼,三分钟就能吐出一篇像模像样的稿子。 但要写出一篇走心的、大家愿意读的文章,一点也没有变得更容易。 我很多大厂的前同事也天天在用AI,但很明显,老板的要求越来越高,很多产品经理都要求拿着能运行的demo去过评审会。 最终,AI并没有给我们省时间,反而让我们越来越忙。 今天卫

    来源 AI 行业观察
  3. MIT科技评论圆桌对话:认知永生能否让心智超越肉体

    MIT科技评论举办圆桌讨论,科学编辑Mary Beth Griggs与生物医学高级编辑Antonio Regalado探讨“认知永生”的可能性。从渐进式大脑替换到意识上传,一些前沿技术专家正试图实现自我的延续——即便在死亡之后。这场对话既描绘了技术路径,也抛出了关于身份、伦理与科学现实的尖锐问题。

    来源 AI 科技快讯
  4. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  5. 刚刚,陈丹琦官宣兼职加入Noeri,新公司押注AI自进化

    普林斯顿大学计算机科学副教授陈丹琦,加入了一家刚刚亮相的 AI 公司。 今天凌晨,陈丹琦在社交平台透露,自己两个月前就以兼职身份加入了 Noeri。她对这支团队的研究方向颇为期待,尤其关注 AI 在科学发现中的应用,希望让每一位科学家都能把 AI 用在自己最棘手的研究问题上。 Noeri 由斯坦福大学计算机科学教授 Y

    来源 AI 行业观察
  6. 网购“AB货”乱象,该治了

    消费者小林在某平台直播间下单了一件“版型好、重工、用料足”的羊毛大衣,但收到货时却发现大衣的版型和主播展示的有差别,羊毛含量标注只有30%,而非主播宣传的80%。 消费者陈先生给老家农村的父亲网购了一双毛拖鞋。这双鞋他曾经下过单,亲测品质不错,鞋底柔软、弹性好,但父亲收到货后说鞋底发硬、塑料感强、有毛刺。

    来源 网易科技
  7. AI伴侣越聊越孤独:斯坦福1131人研究揭开三个机制

    (本文作者为 猫头鹰科技社,钛媒体经授权发布)文 | 猫头鹰科技社一个24小时在线、永远温柔、从不拒绝你的AI伴侣,听起来似乎是缓解孤独的完美方案。然而,这可能只是一种违反直觉的幻觉。2026年8月4日,美国斯坦福大学杨迪一(Diyi Yang)团队在《自然·人类行为》(Nature Human Behaviour)发

    来源 腾讯网
  8. 宁德时代独家投资子虔科技C轮:AI能否压缩工业研发前置环节?

    过去一个多世纪,制造业一直在解决“如何更快、更便宜、更稳定地生产”。从福特流水线到自动化工厂,这个问题已被回答得足够好。但另一个问题很少被摆上台面:产品走上产线之前,它究竟应该被设计成什么样? 如果说制造,是把确定方案生产出来,那么创造,就是从无数种可能里找到可行设计。制造有产线、节拍、良率等一系列参数可以衡量,创造却

    来源 AI 行业观察
  9. 认知永生:MIT科技评论圆桌讨论心智延续的可能

    MIT科技评论举办圆桌讨论,科学编辑Mary Beth Griggs与生物医学高级编辑Antonio Regalado探讨“认知永生”的可能性。从渐进式大脑替换到意识上传,一些前沿技术专家正试图实现自我的延续——即便在死亡之后。这场对话既描绘了技术路径,也抛出了关于身份、伦理与科学现实的尖锐问题。

    来源 AI 行业观察
向下滚动自动加载更多