CriticGPT

CriticGPT 是 OpenAI 训练的一个模型，基于 GPT‑4，主要用途是给 ChatGPT 的代码回答写批评意见，帮助人类训练师发现其中的错误。它面向的是参与 RLHF 流程的 AI 训练师，而不是普通 ChatGPT 用户。

按照 OpenAI 的说明，ChatGPT 依赖 GPT‑4 系列模型，通过「基于人类反馈的强化学习」（RLHF）来对齐。RLHF 的关键一环是让训练师对比不同回答并打分。随着模型推理能力提升，ChatGPT 的错误变得更隐蔽，训练师越来越难发现，这正是 RLHF 的固有局限。CriticGPT 就是为缓解这一问题而训练的。

它的训练方式也用了 RLHF，但与 ChatGPT 不同，它看过大量包含错误的输入并需要给出批评。OpenAI 让训练师手动把错误插入 ChatGPT 写的代码，再写出示例反馈，然后比较多个批评意见。实验中既考察它能否发现插入的错误，也考察它能否发现此前训练师已经包括的「自然发生」的错误。

把 CriticGPT 当成「自动代码审查员」来用并不合适，官网没有公开任何面向普通用户的产品入口或价格，它目前更像是 OpenAI 内部流程的一部分。但如果你关注的是 RLHF 标注、模型评测或 AI 辅助代码审查这件事本身，它给出了一个值得参考的样本：人加 CriticGPT 的组合在 60% 的情况下优于无协助的人，训练师偏好 CriticGPT 批评的比例为 63%。要注意的是，它的建议并不总是正确，官方也承认这一点，所以把它当作提效工具而不是最终裁判更稳妥。