昇腾首篇NeurIPS论文：ASP让大模型RL训练提速222%

在大模型强化学习训练中，生成环节的耗时占比正变得越来越高。模型输出越长，训练就越受算力约束；多加训练卡能缓解算力压力，可推理侧受显存带宽限制，单实例继续堆卡很快触到扩展上限。训推混合框架下盲目加算力，只会白白浪费资源。

深圳市大数据研究院团队与华为联合研发的 ASP（Adaptive Scheduling Pipeline），做的正是面向多实例异步 RL 训练的自适应调度流水线。第一步是把生成与训练解耦；更关键的第二步，是用队列感知的调度策略，一次把多实例 rollout 中的 padding、skewness、sorting 三类气泡全部消掉，减少算力浪费、提升 RL 训练性能。

ASP 的构建和验证全部落在国产昇腾算力上，用的是昇腾 910B3 NPU 与 MindSpeed-RL 生态。公开信息检索显示，这是首个被 NeurIPS 接收的、基于国产昇腾算力的大模型 RL 训练加速系统工作，也是昇腾框架层首次登上 A 类顶会。NeurIPS 的接收，说明该工作经过了国际顶级学者严格的双盲同行评议，在原创性、严谨性和实验可复现性上层层过关。曾立博士也在 cncc 2026 论坛上报告了这一论文成果，引起学界和业界广泛关注。作为国产 AI 芯片龙头，昇腾生态由此证明自己有能力做出国际前沿研究、获得 AI 领域学者认可；在大模型训练基础设施高度依赖海外算力、且存在国际制裁的当下，这件事意义不小。

效果方面，ASP 的生成吞吐最高提升 222%，单轮迭代时间最多缩短 76%。扩展性上，卡数增加后迭代时间接近线性变化；在约 3.3 个训练步的策略滞后下，收敛也没有明显退化。

系统已在电信领域的真实 RL 训练任务中跑起来：百卡昇腾集群上，整体训练周期从 3 个月以上压到约 2 个月，产出的领域增强模型能直接投入业务。目前仅基于 MindSpeed-RL，后续会迁移到 verl 框架并安排开源。

ASP 的整体思路是：先做一次离线预处理，同时针对三类 rollout 气泡——预测长度、构造长度同质的 minibatch，再把长短批混合编排成负载均衡的调度组。

论文地址：https://github.com/EntongL/ASP/blob/main/AdaptiveSchedulingPipelineforMultiInstanceAsynchronousReinforcementLearning.pdf

背景介绍

生成为什么成了瓶颈

RL 训练如今是大模型能力提升的核心环节。它依赖模型自己生成的回答加上奖励信号来训练，从而换来更好的对齐与推理能力。

不过每次策略更新，都得把 rollout 生成、奖励打分、log-prob 计算、反向传播整套流程走一遍。输出越长，rollout 生成就越占主导，吃掉训练总时间的很大一块。

眼下最主流的做法是混合式循环：每轮先推理，再拿生成的样本跑一次训练。结构简单，样本也贴近当前策略，缺点却同样明显。

训练器更新参数时没有新样本在生成，卡就闲在那里；推理和训练来回切模式，同一批机器还得重新分片。更麻烦的是两个阶段的系统特性完全不同：反向传播是计算受限的，偏好大规模同步并行；推理生成是显存带宽受限的，给单个推理实例加资源，收益很快见顶。

解耦只解决了一半

异步、训推分离的流水线让 rollout 生成和训练能同时进行，解决了一部分问题。但把生成和训练分开，并不会自动让多实例 rollout 生成变得高效又稳定。

多个 actor 并行解码长度不一的回答时，系统要同时应付两个相互耦合的目标：一是让每个推理 minibatch 内部保持高利用率，二是让全局的生产者—消费者关系（即 rollout 生成与训练）以及 Training Queue 保持稳定。所以真正的问题不只是怎么把生成和训练分开，而是怎么调度 rollout，让异步生成既快又可控。

为了把调度做高效，我们分析了当前场景下 rollout 与训练过程中存在的气泡，并把识别出的气泡归为三类：

1.Padding 气泡。同一 minibatch 里的 prompt，生成的回答长度各不相同。短的先结束，actor 却被最长的那个占着，实际有用的 token 生成量，远小于按最长回答算出的 padded 计算量。

2.Skewness 气泡。LLM 输出长度呈长尾分布，少数几个超长生成，会在解码后期把有效 batch 大小直接压塌。

3.Sorting 气泡。按预测长度给 prompt 排序，能缓解前两个问题，却带出第三个：短 minibatch 先派发、长的后派发时，生成速率会随时间起伏，Training Queue 先被迅速填满，随后又慢慢抽空。我们称之为队列层面的不稳定。

问题就在这里：按长度排序对单个 minibatch 是好事，对整条流水线的时间稳定性却可能有害。为消除这三类气泡，我们提出 ASP，通过离线预处理预测并调整样本的排序组合，减少气泡造成的资源浪费，提升整体训练性能。

方法概览

三步离线调度，同时消除三类气泡

ASP 的思路，是把调度从「负载均衡的算法细节」变成异步 RL 里可插拔的组件：用输出长度预测给 prompt 排序，用动态规划构造长度同质的推理 minibatch，再用均衡的 batch-group 排序把长短 minibatch 混在一起，让相邻调度组的预测处理时间彼此接近。

整套调度是训练前一次性完成的离线预处理，只用到预测长度，rollout 期间不增加任何在线调度开销，具体步骤如下：

Step 1 做的是输出长度预测。做法是先拿目标模型跑少量 prompt，把 prompt 和长度之间的对应关系收集起来，再微调一个同系列、参数量更小的模型来预测长度——这里用的是 Qwen2.5-1.5B——最后按预测值排序。预测器不必算出精确长度，能给出有用的相对排序就行。调度器真正依赖的是排序，不是绝对值。

接着是 Step 2，构造长度同质的 minibatch。如果批大小固定，在排序列表里碰上大间隔照样会浪费。ASP 的办法是让批大小在基准值附近小幅浮动，再用动态规划找出平均利用率最高的划分方式，把 padding 气泡压到最少。

最后一步是 Step 3，均衡 batch-group 排序。minibatch 会被重新排成组，让每组的总预测负载大致相等。这样一来，调度不再是「先发所有短批、后发所有长批」，而是长短交错，连续调度组的预测耗时接近，sorting 气泡也就消失了。

把调度接进有滞后版本控制的异步系统

调度只解决一半问题。ASP 把整个系统拆成三部分：Training Unit（TU）管奖励计算、log-prob 评估和策略更新；一个或多个 Generation Unit（GU）各自承载多个生成 actor；还有一个同址部署的 Control Unit（CU），负责派发调度好的 minibatch，并通过受控的 Training Queue 把完成的样本转给 TU。

Training Queue 是稳定性的关键。生成时间的短期波动由它吸收，队列占用情况也会暴露给 CU，用来调节 CU 派发样本的速度：样本到得比 TU 消耗得快，派发就被节流；队列见底，CU 就继续把生成 actor 喂饱，生产更多样本。

样本有时是由比当前训练权重更早的模型产出的，这是异步 rollout 的另一个问题。ASP 的办法是给可滞后的权重版本数设一个上限。TU 每完成一个训练步就定期把权重快照导出来，转成推理能用的格式，actor 再去异步加载；要是某个 actor 正在解码，它会把当前 minibatch 解完才加载，这样所有生成 worker 不会被迫全局暂停。

解耦的核心好处保住了，生成不中断；策略滞后也被控制在可观测、有明确界限的范围内。

ASP 系统架构。蓝色实线为数据 / 样本流：CU 将调度好的 minibatch 派发到各 GU，actor 生成后回传完成样本，经 CU 传入 Training Queue，再由 TU 消费；绿色虚线为权重刷新路径（Latest Weights，各 GU 异步加载）；橙色点线为队列占用反馈（控制派发节奏）。

实验结果

ASP 基于 MindSpeed-RL 实现，采用 GRPO，在昇腾 910B3 上进行 RL 训练，一共使用了 8 个节点，每个节点有 8 张 NPU，共 64 个 NPU。评测模型是 MoE 的 Qwen3-30B-A3B 和稠密的 Qwen3-32B，对比对象是同一生态下的混合式基线 MindSpeed-RL，以及异步解耦基线 verl。

端到端性能

在 Qwen3-30B-A3B 上，ASP 的迭代时间是 216s，对比 MindSpeed-RL 的 927s，降低了 76.7%；对比 verl 的 536.7s，降低了 59.9%。

在 Qwen3-32B 上，ASP 的迭代时间是 230.7s，对比 MindSpeed-RL 的 928s，降低了 75.1%；对比 verl 的 615.1s，降低了 62.5%。

吞吐上的提升同样明显。Qwen3-30B-A3B 上 ASP 达到 58 tokens/s/NPU，混合式基线是 18，verl 是 44，对应约 3.22 倍和 1.31 倍的提升。

在 MoE 和稠密模型上收益一致，可见改进源自系统设计本身——「解耦的多实例 rollout 加队列感知调度」，并非某个模型碰巧带来的结果。

表 1 端到端迭代时间（论文原表 3）。括号内为节点配置，T 表示训练节点，G 表示生成节点。

调度消融

单看调度策略，ASP 把迭代时间平均压低了 11%。padding 上的节省其实不是这里最该讲的。ASP 通过均衡相邻 batch-group 的预测负载，还让 minibatch 的完成时刻变得更平滑，队列振荡随之减少。异步场景里这一点很关键：同步的完成突发会把 CU/TU 通路压垮，队列行为跟着变得不稳定；到达过程平滑之后，流水线就能更贴近自身的平衡工作点。

调度消融（Qwen3-30B-A3B）。开启调度后，队列相关指标的波动明显收敛，平均迭代时间下降 11%。

可扩展性

NPU 数量越多，解耦框架的优势就越突出，毕竟 rollout 会随资源增加而提速。如下图所示，ASP 在每一个测试规模上都取得了更低的迭代时间，生成资源越多，差距拉得越大。从 1 个 GU 节点扩到 3 个、4 个 GU 节点，迭代时间由 776s 降至 288s、216s，对应 2.69 倍和 3.59 倍加速，接近理想线性。多实例 rollout 的价值就在这里。单实例推理很早就会进入扩展平台期，而多实例加队列感知调度，让加卡重新恢复了线性。

可扩展性（Qwen3-30B-A3B）。左图是迭代时间随总 NPU 数的变化，右图是随生成 NPU 数的变化。ASP 在每个规模上都保持更低耗时，直到瓶颈转移到训练侧。

有滞后版本限制下的收敛

异步执行会不会伤到学习，这是所有异步方案都要回答的问题。在 1 个 TU 节点加 3 个 GU 节点的配置下，实测的有效 off-policy 距离约为 3.3 个训练步。跑 30 轮 GRPO，ASP 与混合式基线到达相近的 maze integrity 平台，ASP 因为纯生成预热有短暂的初期延迟；maze correctness 也是同样的结论。

在受控的滞后范围内，实测没有看到收敛变差。队列感知调度、有界队列以及延迟权重刷新三件事凑在一起，把异步流水线摁在一个小滞后的区间里跑，吞吐上的好处也一并拿到了。收敛表现这边，看的是 MAZE-REASONING-GRPO-V0.1：滞后大约 3.3 个训练步时，ASP 和混合式基线落在了相近的平台，没有出现肉眼可见的退化。

产业落地

论文之外的实验也做了。ASP 已在昇腾百卡乃至千卡集群上进入电信场景的真实部署，模型是 Qwen3-235B-A30B。这次部署把整体训练周期从 3 个多月压到约 2 个月，训出来的领域增强模型已经承担知识问答、工具调用等电信业务。流程、数据、部署细节都保密，论文只将它视作实用性的定性证据，没有放进受控实验里做对比。

这件事的分量不只在 RL 训练效率变高。电信属于重资产、强专业的行当，模型要持续吃进海量工单、运维知识、客服话术这类专业数据，可过去训练周期按月算，模型常常追不上业务迭代的节奏。训练周期被大幅压缩后，「更快用上更懂业务的模型」才有了落地的可能。类似的路子也能挪到政务、电力、金融、制造等高专业度行业，让国产算力上的大模型后训练从「训得动」转向「训得快、用得起」，给运营商等行业的规模化落地留下一套可复用的基础设施。

总结与展望

ASP 要回答的问题很具体：训练和推理解耦之后，多实例异步 RL 怎么才能跑得更好。生成环节得在每个 actor 内部保持高效，在 Training Queue 上保持稳定。ASP 用一次离线的队列感知调度把这一层补上——预测长度、构造同质 minibatch、均衡分组排序。它给出的是一条更实用的路径，异步多实例 RL 训练既快，也控得住。放到国产算力上的大模型训练里看，同样的卡能跑出更多有效迭代。

眼下的原型跑在昇腾 910B3 的 MindSpeed-RL 生态中，资源有限，规模上限为 128 张 NPU。接下来会去更大的集群、更强的策略漂移以及课程学习场景里，继续检验这套调度机制。

参考文献

[1] Adaptive Scheduling Pipeline for Multi-Instance Asynchronous Reinforcement Learning. Advances in Neural Information Processing Systems (NeurIPS), 2026.

作者介绍

Luis Henrique Zuin Ruiz：华为在职实习生，巴黎综合理工学院数学专业在读研究生，主要研究方向是数学建模与 AI 应用。

Salah Chikhi：巴黎综合理工学院数学专业在读研究生，主要研究方向是数学理论与深度学习的结合。

黎恩彤：深圳市大数据研究院工程师，主要研究方向是 AI infra 加速优化以及训练加速优化。曾立：深圳市大数据研究院主任研究科学家，研究方向主要包括大模型训推加速、向量计算与知识搜索、图计算等。