生成式逐步判断
对推理链的每一步先做显式 Chain-of-Thought 推理，再给出该步是否正确的判断，改变以往过程奖励模型只输出标量数值的做法。
价格官网未标价
平台Web
归类大模型与开发平台
收录2025-04-01
复核2025-04-05
编辑评分
4.2 / 5
★★★★☆
GenPRM编辑总结
GenPRM 是一篇 2025 年 4 月 1 日提交到 arXiv、4 月 5 日修订至 v2 的论文提出的生成式过程奖励模型。它用显式 Chain-of-Thought 推理加代码验证，对推理的每一步给出判断，取代以往只输出标量的过程奖励模型。论文在 ProcessBench 与多项数学推理任务上做了评测，只用 23K 条来自 MATH 数据集的训练数据，1.5B 版本即可超过 GPT-4o，7B 版本在 ProcessBench 上超过 Qwen2.5-Math-PRM-72B。它同时能作为 critic 模型用于策略模型精修，但论文属于研究性质，官网未公开可直接使用的产品化定价与部署方案。
GenPRM是什么？
GenPRM 是论文《GenPRM: Scaling Test-Time Compute of Process Reward Models via Generative Reasoning》提出的生成式过程奖励模型，作者包括 Jian Zhao、Runze Liu、Kaiyan Zhang、Zhimu Zhou、Junqi Gao、Dong Li、Jiafei Lyu、Zhouyi Qian、Biqing Qi、Xiu Li、Bowen Zhou。它面向大模型推理过程的监督与验证场景，用来判断一条推理链中每一步是否正确。
论文针对现有过程奖励模型的三点不足展开：过程监督与泛化能力有限、只做标量数值预测而没有用上大模型的生成能力、无法把测试时间计算扩展到过程奖励模型上。GenPRM 的做法是在对每个推理步骤给出判断之前，先做显式的 Chain-of-Thought 推理并配合代码验证。为了拿到高质量的过程监督标签与理由数据，论文提出相对进展估计（Relative Progress Estimation，RPE）与一个结合代码验证的理由合成框架。
使用方式上，普通研究者可以按论文给出的方法复现或评测该模型，模型规模覆盖 1.5B 与 7B 两档；开发者可以把它当作 verifier 或 critic 模型接入自己的训练与推理流程，用来对策略模型的输出做精修。论文结尾表示代码、模型与数据将公开，具体发布渠道官网未公开。
GenPRM核心功能
代码验证
在给出判断之前引入代码验证环节，用可执行的方式校验推理步骤，作为理由合成框架的一部分来提升监督信号的质量。
相对进展估计 RPE
论文提出 Relative Progress Estimation（RPE），用于获得高质量的过程监督标签，解决过程监督数据难以获取的问题。
测试时间扩展
支持对过程奖励模型本身做测试时间计算扩展。1.5B 版本经扩展后在 ProcessBench 上超过 GPT-4o，7B 版本超过 Qwen2.5-Math-PRM-72B。
低数据量训练
仅使用来自 MATH 数据集的 23K 条训练数据即可显著超过此前的过程奖励模型，降低了对大规模过程监督标注的依赖。
critic 模型能力
除作为验证器打分外，还能充当 critic 模型用于策略模型精修，论文称这一能力打通了过程奖励模型与 critic 模型之间的界限。
GenPRM值不值得用？
当你需要研究或复现过程奖励模型、尤其是想在推理步骤级别做细粒度验证时，GenPRM 值得细读：它把生成式推理和代码验证引入逐步判断，23K 条 MATH 数据就能训练出 1.5B 版本超过 GPT-4o、7B 版本超过 Qwen2.5-Math-PRM-72B 的效果。当你要找的是开箱即用的商用打分服务时，它不是合适的选择：论文形态意味着需要自行复现训练与评测流程，产品化的价格、部署方式与支持范围官网都未公开。作为 critic 模型做策略精修，是它在验证之外的另一个实用方向。
建议选它的情况
- 研究过程奖励模型与过程监督方向，需要可参考的方法与评测结果
- 希望在推理步骤级别做验证，而不满足于结果级打分
- 需要一个小参数量的 verifier，例如 1.5B 或 7B 规模
- 想把 critic 模型能力接入策略模型精修流程
不建议选它的情况
- 需要现成的 API 或 SaaS 打分服务，不想自己复现训练与评测
- 缺少数学推理类任务场景，论文评测集中在 ProcessBench 与数学推理任务
- 需要厂商提供 SLA、技术支持与长期维护承诺
GenPRM适合谁用？
过程监督方向研究者
推荐论文给出了 RPE 与理由合成框架的完整思路，并报告 ProcessBench 与数学推理任务结果，适合作为方法对照与复现起点。
做数学推理的算法工程师
推荐论文评测集中在数学推理任务，23K 条 MATH 数据即可训练出 1.5B 版本超过 GPT-4o 的效果，可直接用于搭建推理验证环节。
需要 critic 模型的训练团队
推荐论文报告 GenPRM 可充当 critic 模型用于策略模型精修，适合接入已有的强化学习或迭代优化流程。
想直接调 API 的产品团队
有条件GenPRM 以论文形式发布，价格与部署方式，产品化使用需要自行承担复现与工程成本。
非数学领域的验证需求方
有条件论文评测集中在 ProcessBench 与若干数学推理任务，其他领域的效果官网未公开，直接迁移前需要自行验证。
GenPRM优点和缺点
优点
- 23K 条 MATH 数据即可训练，数据门槛低
- 1.5B 版本经测试时间扩展后在 ProcessBench 上超过 GPT-4o
- 在判断前做显式 Chain-of-Thought 推理，并配合代码验证
- 可充当 critic 模型用于策略模型精修
- 提出 RPE 与理由合成框架，缓解过程监督标签难获取的问题
缺点
- 以论文形式发布
- 评测集中在 ProcessBench 与数学推理任务，其他领域效果未公开
- 需要自行复现训练与评测流程，工程成本由使用者承担
- 模型规模目前只报告 1.5B 与 7B 两档，更大规模表现未公开
GenPRM常见问题
GenPRM 和以往的过程奖励模型有什么不同？＋
以往的过程奖励模型主要做标量数值预测，GenPRM 则在对每个推理步骤给出判断之前，先进行显式的 Chain-of-Thought 推理，并加入代码验证。论文指出这解决了三个问题：过程监督与泛化能力有限、没有用上大模型的生成能力、无法扩展过程奖励模型的测试时间计算。
训练 GenPRM 需要多少数据？＋
论文使用来自 MATH 数据集的 23K 条训练数据，就显著超过了此前的过程奖励模型。
GenPRM 在 ProcessBench 上的成绩如何？＋
据论文，通过测试时间扩展，1.5B 的 GenPRM 在 ProcessBench 上超过 GPT-4o，7B 的 GenPRM 超过 Qwen2.5-Math-PRM-72B。
GenPRM 有开源代码和模型可以下载吗？＋
论文表示代码、模型与数据将会公开，但具体的发布地址与时间官网未说明，需要关注论文页面的后续更新或作者的公开渠道。
GenPRM 最适合用在哪类任务上？＋
论文的实验覆盖 ProcessBench 以及若干数学推理任务，因此数学推理是目前有公开结果支撑的主要场景。它同时能作为 critic 模型为策略模型精修提供信号，这一方向论文也报告了较强的能力。
GenPRM竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| GenPRM本工具 | 4.2 | 未标价 | 生成式逐步判断；代码验证；相对进展估计 RPE；测试时间扩展 | Web |
| HelpSteer2 | — | 未标价 | 一个用于训练高性能奖励模型的开源数据集 | — |
| EurusPRM-Stage2 | — | 未标价 | EurusPRM-Stage2是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推 | — |
| EurusPRM-Stage1 | — | 未标价 | EurusPRM-Stage1是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推 | — |
| Llama3-70B-SteerLM-RM | — | 未标价 | 70亿参数的多方面奖励模型 | — |
| Nemotron-4-340B-Reward | — | 未标价 | 多维奖励模型，助力构建自定义大型语言模型 | — |
