可验证奖励强化学习（RLVR）

RLVR（Reinforcement Learning from Verifiable Rewards，可验证奖励强化学习）是在答案有对错之分的任务上，用自动校验作为奖励信号的方法：模型给出解答后，系统比对答案、运行单元测试或做形式化检查，把对错变成训练信号。它绕开人工打分的主观与昂贵，是推理模型能力提升的重要推手。

核心思想

传统对齐依赖人类偏好或奖励模型打分，成本高、噪声大，且难以扩展到需要海量试错的任务。RLVR 只选择结果可自动验证的任务：对就是对、错就是错，奖励无需人评。这种稀疏但客观的信号特别适合强化学习——模型想拿到奖励，就必须真正把题做对，而不是学会说得像模像样。

奖励通常是二值的，只看结果不看过程。在大量尝试中，模型会逐渐长出更长的推理链、自我检查与回溯修正等行为，这些行为并非人为规定，而是追求奖励的自然结果。

适用任务

• 数学题：有唯一或可判定的最终答案，可以自动比对结果。
• 代码任务：用单元测试、编译结果或运行输出来判定正确性。
• 形式化推理：定理证明、约束求解等可由验证器检查的任务。
• 结构化抽取：字段与格式明确，可用规则脚本校验提取结果。

与 RLHF 的对比

• 奖励来源：RLHF 来自人类偏好或奖励模型；RLVR 来自可执行的验证程序。
• 主观性：RLHF 带有人为偏好噪声，RLVR 结果客观且可复现。
• 适用范围：RLHF 覆盖开放对话与表达风格；RLVR 只适用于结果可判定的任务。
• 扩展性：RLVR 可大规模自动化，但需要为每类任务预先准备验证器。

局限与趋势

RLVR 的边界很清楚：写作质量、共情表达、开放讨论这类没有标准答案的任务无法用它训练。此外，容易被验证的答案可能诱导模型走捷径，例如猜测选项、套用固定模板，或者只优化最终结果而忽视推导过程。若验证器本身存在漏洞，模型会精准地钻空子，因此验证规则需要与训练同步加固。

主流方向是把 RLVR 与奖励模型、人工反馈结合：客观任务用自动校验，主观任务仍靠偏好学习。另一条路径是向更复杂的工程任务扩展，例如让模型在真实代码仓库中完成多步修改，由测试套件判定是否通过，使可验证的范围从单题解答延伸到长链条的工程行为。

实践要点

• 验证器要可靠：校验逻辑必须与目标一致，错误的判分标准会训练出错误行为。
• 覆盖多类任务：只刷单一题型会让能力偏科，需要混合不同领域与难度。
• 防止走捷径：对猜测与模板化作答设置惩罚或额外校验，避免奖励被钻空子。
• 监控通用能力：专项训练可能损害对话与写作表现，需要定期做回归评测。

常见误区

• 以为 RLVR 能替代全部对齐：它只覆盖可验证任务，开放场景仍需偏好学习。
• 把测试通过当作完全正确：通过现有测试不代表逻辑无误，测试本身可能并不充分。
• 忽视推理过程质量：只看最终答案可能让模型养成跳跃推理、靠运气蒙对的习惯。
• 一次性拉满难度：训练数据难度需要循序渐进，过难会导致几乎没有正奖励，模型学不动。