自我博弈（Self-Play）

自我博弈指模型与自己对抗来产生训练数据：一方出题或行动，另一方应对，胜负结果直接作为奖励信号。它的价值在于绕开人工标注——在棋类、博弈与可自动验证的任务里，对手水平会随训练同步提高，训练信号始终处在略高于当前能力的区间。

成立需要的条件

• 可自动判定胜负：结果必须能被程序验证，否则自我博弈无法提供可靠奖励。
• 能力对称增长：双方共享或同步更新能力，避免一方过强导致另一方学不到有效信号。
• 多样性与防退化：长期自我对弈容易收敛到固定套路，需要随机化或历史版本池来保持策略多样性。
• 难度自调节：任务难度应随能力提升而上升，否则模型会在简单局面上反复获得无信息量的奖励。
• 稳定的评估基准：需要一个不受当前策略影响的固定对手或题库，否则无法判断能力是否真的在提高。

为什么能持续产生梯度

关键在于对手是被训练出来的：策略变强后，它暴露出的弱点也随之变化，原本已经解决的局面对新策略可能重新变得困难。这种「对手跟着涨」的性质让训练难度自动维持在能力边界附近，避免了固定题库被刷穿后奖励信号消失的问题。实现上通常用两个角色（生成与判别、出题与解题）互相对抗，或让同一模型与自己的历史快照对弈，后者能降低一方过早碾压另一方的风险。工程上还要控制对局数量与单局长度，把算力花在信息量更大的局面上，而不是平均地重复已经掌握的情形。

局限与常见误用

• 验证器是前提：缺少可靠验证器的领域难以直接套用，判据本身写不出来就无从训练。
• 漏洞会被利用：验证器有漏洞时，模型会学会绕过检查而不是解决问题，代码与形式化任务里尤其明显。
• 指标不等于目标：判据与真实目标不一致时，训练出的策略会在指标上变好而在实际使用中变差。
• 训练开销更高：出题、作答与判定都由模型完成，单位算力换来的有效信号通常少于监督学习。

因此引入前要先确认奖励信号是否与目标对齐、多样性机制是否到位，它更适合用在监督数据确实稀缺、而验证相对便宜的任务上。

从棋类到推理训练的延伸，本质上都是把「谁来判断对错」交给可执行的验证程序。这也意味着这条路线能覆盖多少任务类型，往往取决于验证器能写得多严密，而不只是模型规模。