OPD训练也能无损加速?STOPD最高加速2.2倍!

资讯 网易科技 作者:网易 全文 4765 字 · 约 12 分钟读完 配图 10 张

OPD训练也能无损加速?STOPD最高加速2.2倍!,梯度,实验,esr,stopd,opd训练

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 1)

On-policy distillation(OPD)的做法很简单:先让学生自己生成回答,再由教师逐 token 提供反馈,指导学生更新。这样教师就能直接针对学生实际生成的内容进行指导,而不必依赖预先准备好的答案。问题在于,每一轮训练都需要学生生成完整的回答,之后教师还要对每个位置进行评估。随着回答变长,训练成本也会越来越大。

因此,我们提出了 STOPD:在生成前随机选好停止位置,然后让部分学生回答提前结束,最后再通过逆概率加权补偿截断带来的采样偏差。整个过程不需要评估回答质量,也不需要额外调用模型来判断何时停止。

在我们的实验中,STOPD 在准确率与 Vanilla OPD 相近的情况下,减少了25%–48% 的生成 token,实现了1.3–2.2 倍训练加速。在理论上,我们还额外证明了加权后的梯度总和在期望上与完整生成一致,并给出了 SGD、Adam 和 Muon 下的单步更新误差界。

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 2)

图 1|STOPD 的方法与实验结果。

  • 论文:https://arxiv.org/abs/2610.21337
  • 代码:https://github.com/YouAreSpecialToMe/STOPD
  • Hugging Face:https://huggingface.co/papers/2610.21337

已有方法如何减少计算

减少 OPD 开销通常有两种做法。

一种是稀疏监督:学生仍然生成完整的回答,但只选择部分 token 参与训练。这样的话如何选出值得监督的 token 就成了关键。有的方法关注学生在哪些位置更需要指导,比如 TIP [1] 根据学生的不确定性和师生分歧进行选择。有的方法关注教师的指导能否被学生有效吸收,比如 TA-OPD [2] 考虑教师信号的可学习性。还有的方法关注训练信号本身是否可靠,例如 IER [3] 考虑梯度估计的可靠性。这些方法虽然选择标准不同,但都通过减少了需要监督的 token 数量的方法削减了开销。

另一种是直接截断生成。最简单的做法是直接限制生成长度,比如 Early Stopping Rollout(ESR)[4] 只保留固定长度的前缀。在此基础上,Progressive OPD(POPD)[7] 进一步考虑训练进度,让生成长度随着训练逐步增加。除了预先设定长度规则,也有方法利用师生反馈动态调整生成过程。比如 Prune-OPD [5] 根据预测重叠度调整后缀权重和生成预算,而 KAT [6] 则在师生 KL 持续较低时提前停止生成。

截断虽然能直接省下生成计算却让被截掉的位置不再贡献梯度。如果不加以补偿,得到的期望梯度就不再与 Vanilla OPD 一致。而如何选择截断位置,同样是个问题。如果始终保留固定长度的前缀,回答后部就无法得到监督。如果根据师生反馈动态决定何时停止,又需要判断后续的监督是否还有保留的价值。

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 3)

图 2|稀疏监督与截断生成的区别。

STOPD 怎么做

我们先考虑一种最简单的随机截断方式:在每条回答开始前,我们都会独立地均匀采样一个停止位置。生成过程会在到达该位置时停止,除非学生此前已经自然结束回答。对于被截断的部分,我们不再生成后续 token,也不再计算相应的教师反馈和训练损失。

不过,直接截断会带来两个问题。首先,这样做会让靠前的位置更常被保留,靠后的位置则更容易被遗漏。如果直接使用保留下来的损失,期望梯度就不再与完整生成一致。一个自然的解决办法是使用逆概率加权(IPW),将每个 token 的损失乘以其保留概率 p 的倒数,从而补偿截断带来的采样偏差。

但这又引出了第二个问题:尾部 token 的补偿权重可能变得非常大。以最大生成长度 16,384 为例,最后一个 token 被保留的概率只有 1/16,384,而一旦被保留,就会获得高达 16,384 的权重。

因此我们加入了分块截断:先把最大长度内的位置划分成等宽的连续块,抽中某个位置后,生成到它所在块的末尾再停。块内后部位置的保留概率随之提高,最大权重也降下来。例如,最大长度为 16,384、块宽为 128 时,最大权重从 16,384 降到 128。

将随机截断、逆概率加权和分块截断结合起来,就得到了我们的 STOPD。

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 4)

动图|随机截断,以及各位置的加权贡献。

为什么梯度总和无偏

我们可以用一个简单的例子来说明。假设在一条完整回答中,某个 token 的梯度贡献为 g,而它有四分之一的概率在随机阶段后被保留。按照 STOPD 的加权方式,如果这个 token 被保留,它的贡献就会变成 4g,否则贡献为零。对随机停止位置取期望,我们就有

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 5)

也就是说经过加权后,每个位置的期望梯度贡献都与完整生成时一致。将所有位置的贡献相加,就能恢复完整回答的期望梯度总和。

除此之外,我们还分析了实际训练中的损失归一化,以及 SGD、Adam 和 Muon 三种优化器如何将梯度转化为参数更新,并给出了相应的单步更新误差界。

主实验结果

我们用 Qwen3-4B-Instruct-2507 作为教师、Qwen3-1.7B-Base 作为学生,在数学、代码和指令遵循上比较 STOPD 与 Vanilla OPD。

两种方法在训练过程中呈现出相似的蒸馏损失变化趋势,在第 250 步的评最终测结果也十分接近。具体来说,Vanilla OPD 与 STOPD 在数学任务上的平均准确率分别为 30.1% 和 29.4%,代码任务上的平均通过率分别为 28.5% 和 28.1%,指令遵循任务上的准确率则分别为 59.8% 和 60.1%。

对应的计算节省是:

  • 数学:训练加速1.8 倍,生成 token 减少34%
  • 代码:训练加速2.2 倍,生成 token 减少48%
  • 指令遵循:训练加速1.3 倍,生成 token 减少25%

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 6)

图 3|三个领域的准确率、训练加速与训练动态。

更大的模型

我们进一步将教师模型换成 Qwen3-30B-A3B-Instruct-2507,并将学生模型扩大到 4B 和 8B。在这两个规模上STOPD 的准确率仍与 Vanilla OPD 接近,损失曲线也保持着相似的变化趋势。与此同时,生成 token 分别减少了35%33%,训练速度则提升至1.8 倍1.7 倍

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 7)

图 4|4B 和 8B 学生模型上的结果。

换用 SGD 和 Muon

除了模型规模,我们还考察了 STOPD 在不同优化器下的表现。在数学任务上,将 AdamW 换成 SGD 和 Muon 后,STOPD 依然实现了2.2 倍1.9 倍的训练加速,准确率也与 Vanilla OPD 保持接近。具体来说,使用 SGD 时,两者的最终准确率分别为 25.2% 和 25.1%。使用 Muon 时则分别为 29.5% 和 29.8%。

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 8)

图 5|AdamW、SGD 和 Muon 下的准确率与训练动态。

Batch size 和块宽怎么选

随机截断会给训练带来额外的损失波动,而增大 batch size 可以缓解这一问题。由于每条回答的停止位置都是独立采样的,同一个 batch 中包含的回答越多,随机波动就越容易相互抵消。

可以看到,当我们在数学任务上将 batch size 从 128 增加到 512 后,STOPD 的 loss jitter 从12.2% 降至 6.0%,同时依然保持 2.0–2.1 倍的训练加速。Loss jitter 衡量相邻训练步之间的损失波动,而当 batch size 增加四倍时这一波动也几乎减半,恰好符合随机误差随 batch size 的平方根倒数减小的理论预期。

除了 batch size,我们还考察了块宽的影响。更大的块宽可以降低最大补偿权重,但也需要生成更多 token。我们测试了 32 到 2048 的不同块宽,发现准确率整体接近,因此默认使用 128。

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 9)

图 6|Batch size 与块宽的影响。

和固定截断 ESR 比较

我们还在数学任务上比较了 STOPD 与固定截断方法 ESR [4]。ESR 的评测准确率较早进入平台期,但评测时生成的回答却持续变长,触及长度上限的比例也不断增加。相比之下,STOPD 在准确率和回答的停止行为上都更接近 Vanilla OPD。

这一差异与两种方法处理后部 token 的方式有关。ESR 在固定位置截断生成,使后续 token 始终无法得到教师监督。如果自然结束符位于截断点之后,学生也就失去了学习何时结束回答的机会。而 STOPD 让每个位置都有机会参与训练,包括靠后的自然结束符,并通过IPW补偿它们较低的保留概率。

这也是我们重视无偏梯度估计的原因:我们希望减少生成成本的同时,仍然保留每个位置原有的期望梯度贡献。

OPD训练也能无损加速?STOPD最高加速2.2倍!(配图 10)

图 7|ESR、Vanilla 和 STOPD 的准确率、评测回答长度及触及长度上限的比例。

OPD 不必每次都生成到最后

OPD 的关键是让学生从自己生成的回答中获得有效的监督,而不是每次都必须生成完整回答。STOPD 说明,只要合理选择截断位置,并对采样偏差进行补偿,就能在减少生成计算的同时保留完整回答原有的期望梯度贡献。换句话说,OPD 不必每次都生成到最后。

目前,论文和代码均已公开。除了 OPD,这一思路也有望应用于其他使用逐 token 监督的训练方法,例如在线与离线知识蒸馏、监督微调等。我们也希望进一步探索随机截断与加权补偿在这些场景中的效果。

作者介绍

Zhengxin Zhang、Maosen Tang和Ning Wang为康奈尔大学博士生,Changhao Li为佐治亚理工学院博士生。四位共同一作的研究涵盖大模型推理与高效训练、神经网络理论、数据管理及智能体学习。

参考文献

[1] TIP: Token Importance in On-Policy Distillation. https://arxiv.org/abs/2604.14084

[2] Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation. https://arxiv.org/abs/2605.26844

[3] 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation. https://arxiv.org/abs/2609.24432

[4] Less is More: Early Stopping Rollout for On-Policy Distillation. https://arxiv.org/abs/2605.27028

[5] Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning. https://arxiv.org/abs/2605.07804

[6] Escaping the KL Agreement Trap in On-Policy Distillation. https://arxiv.org/abs/2606.09471

[7] Are Full Rollouts Necessary for On-Policy Distillation? https://arxiv.org/abs/2605.31490

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Snowflake Business Ontology:AI 时代如何统一业务口径?

    11 月 3 日,Snowflake 宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与指标,并将其映射至承载这些定义的数据和模型。

    来源 InfoQ
  2. 始终将水瓶、文件夹误认为枪支,美国一高中停用 AI 武器探测系统

    IT之家 11 月 18 日消息,据外媒 TechSpot 今天(18 日)晚间报道,因屡次将普通物品误判为潜在威胁,美国宾夕法尼亚州亨普菲尔德地区高中最终决定停用 AI 武器探测系统。 该校高中是当地参与 Wi-AI 系统训练的多所学校之一。该系统由卡内基梅隆大学衍生企业 CurvePoint 开发,通过分析 Wi-

    来源 AI 行业观察
  3. 马斯克预测:2031年AI智慧或超全人类总和?

    在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。

    来源 IT之家
  4. 马斯克:AI 约 2031 年或超全人类智慧总和,2036 年金钱重要性或下降

    IT之家 11 月 19 日消息,在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。 IT之家附上相关视频如下: 马斯克同时描绘了一个乐观

    来源 AI 行业观察
  5. MIT科技评论圆桌对话:认知永生能否让心智超越肉体

    MIT科技评论举办圆桌讨论,科学编辑Mary Beth Griggs与生物医学高级编辑Antonio Regalado探讨“认知永生”的可能性。从渐进式大脑替换到意识上传,一些前沿技术专家正试图实现自我的延续——即便在死亡之后。这场对话既描绘了技术路径,也抛出了关于身份、伦理与科学现实的尖锐问题。

    来源 AI 科技快讯
  6. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  7. AI伴侣的孤独陷阱

    AI伴侣的核心卖点是随叫随到的陪伴,但这种陪伴是否真正有效?斯坦福大学一项基于46万条真实聊天记录的研究发现,对于社交网络薄弱的人,这种陪伴不仅没有缓解孤独,反而让孤独加剧。

    来源 AI 行业观察
  8. 网购“AB货”乱象,该治了

    消费者小林在某平台直播间下单了一件“版型好、重工、用料足”的羊毛大衣,但收到货时却发现大衣的版型和主播展示的有差别,羊毛含量标注只有30%,而非主播宣传的80%。 消费者陈先生给老家农村的父亲网购了一双毛拖鞋。这双鞋他曾经下过单,亲测品质不错,鞋底柔软、弹性好,但父亲收到货后说鞋底发硬、塑料感强、有毛刺。

    来源 网易科技
  9. 认知永生:MIT科技评论圆桌讨论心智延续的可能

    MIT科技评论举办圆桌讨论,科学编辑Mary Beth Griggs与生物医学高级编辑Antonio Regalado探讨“认知永生”的可能性。从渐进式大脑替换到意识上传,一些前沿技术专家正试图实现自我的延续——即便在死亡之后。这场对话既描绘了技术路径,也抛出了关于身份、伦理与科学现实的尖锐问题。

    来源 AI 行业观察
  10. AI伴侣越聊越孤独:斯坦福1131人研究揭开三个机制

    (本文作者为 猫头鹰科技社,钛媒体经授权发布)文 | 猫头鹰科技社一个24小时在线、永远温柔、从不拒绝你的AI伴侣,听起来似乎是缓解孤独的完美方案。然而,这可能只是一种违反直觉的幻觉。2026年8月4日,美国斯坦福大学杨迪一(Diyi Yang)团队在《自然·人类行为》(Nature Human Behaviour)发

    来源 腾讯网
向下滚动自动加载更多