组相对策略优化（GRPO）

组相对策略优化（Group Relative Policy Optimization，GRPO）是一种强化学习训练算法，由 DeepSeek 团队在训练 DeepSeek-V3、DeepSeek-R1 等模型时使用并公开。核心思路是：让模型针对同一个问题生成一组（多个）回答，再以这组回答内部的相对优劣作为奖励信号来更新模型，从而让模型学会“怎么做更好”。它在后训练阶段被广泛用于提升数学、代码等需要长链推理的能力。

与传统方法的区别

• PPO 的做法：需要训练一个单独的奖励模型来打分，并额外维护价值模型来估计基线，流程复杂、算力开销大。
• GRPO 的做法：直接去掉价值模型，用同一问题下的多个回答互相比较，以组内相对好坏作为优势估计。
• 成本差异：省掉一个与策略同量级的模型，显存与训练时间显著下降。
• 信号来源：奖励可以来自规则校验（如答案是否正确）或奖励模型，相对排序才是更新的关键。

组内比较为什么有效

同一个问题采样多条回答，它们的对错差异主要来自模型自身的策略差异，而不是题目难度。把每条回答的得分减去组内平均分，就得到相对优势：高于平均的被鼓励，低于平均的被抑制。这种对照天然抵消了题目难易带来的波动，相当于用同题样本自己给自己当基线，因此不需要额外的价值网络来预测“这一步大概值多少分”。

为什么重要

GRPO 让强化学习训练推理模型变得可行且成本可控，是 DeepSeek-R1 以相对较小的预算训练出强推理能力的关键之一，也带动了社区对推理训练方法的大量关注与复现。它把“奖励模型加价值模型”的双模型负担简化为单一策略模型加组内比较，使中小团队也能开展推理能力的后训练。

实践要点

• 组大小要够：样本太少时相对优势噪声大，组内需要有足够的差异才能形成有效信号。
• 奖励设计要抗钻空子：格式奖励、长度奖励容易被模型利用，应优先使用可验证的答案校验。
• 控制输出长度：长链推理场景下，长度膨胀会迅速推高成本，需要与奖励设计配合约束。
• 与冷启动数据配合：先用少量高质量推理样本做监督微调，再进入强化学习，收敛更稳。
• 密切监控退化：奖励上升但通用能力下降是常见风险，需要在多类任务上做回归评测。

常见误区

• 以为完全不需要奖励信号：相对比较只是省掉价值模型，仍需要可判定的奖励来源。
• 把 GRPO 当成唯一解法：它属于策略优化家族的一种，具体选择取决于任务与算力条件。
• 只看训练奖励曲线：奖励被刷高而实际答案变差，说明奖励与目标已经脱节。
• 忽略数据质量：题目本身有歧义或无解时，组内比较反而会放大错误倾向。