Zero Bubble Pipeline Parallelism

Zero Bubble Pipeline Parallelism 是一篇关于管道并行调度策略的论文工作，讨论的是大模型分布式训练里一个具体而顽固的问题：管道并行把模型按层切成多个阶段分给不同设备，前后阶段之间必然出现等待，这段等待就是所谓的「气泡」，气泡越大，GPU 空转越多。

它的做法是把反向传播拆开——先算对输入的梯度，再算对权重的梯度。这个拆法让权重梯度计算可以被挪到原本只能空等的位置上执行，于是管道里几乎不再留下空隙。论文同时给出了内存与调度上的权衡方案，供不同显存条件下选择。

对读者来说，它更像一份可落地的工程参考而不是即插即用的产品：训练框架的开发者会关心它的调度顺序与拆分方式，做大规模预训练的团队会关心在自身并行配置下能省下多少空转时间，而普通使用者通常是通过上游框架的支持间接用到它。

当你已经在大规模训练里用了管道并行、并且观察到设备利用率被阶段间等待拖低时，这套调度思路值得认真读一遍并尝试接入。它是论文级的方法而不是装完就用的工具，落地需要改动训练框架的调度逻辑，对工程能力有要求。如果只是单机小模型训练，管道并行本身就不是瓶颈，改造成本换不来收益；如果训练框架已经内置了类似的零气泡调度，则可以直接用现成实现，不必自己重写。