扩散语言模型怎么兼顾速度与质量？上海交大邓志杰拆解并行生成路径

写东西通常是先搭整体框架，再逐处打磨、反复改动。一个句子里的用词，既受前文牵制，也可能被后文左右。顺着这个思路看，语言模型生成文本时，能不能在好几个位置一起动笔，再一点点把内容补齐？

在不久前的CNCC 2026上，上海交通大学副教授邓志杰做了题为“扩散大语言模型方法及应用”的报告，讨论的核心问题是：扩散语言模型能不能在保住生成质量的前提下跑得更快？

邓志杰把把并行潜力变成实际速度的路子梳理了一遍，从LLaDA、Dream这类基础路线，到跨块并行生成、后训练以及推理系统优化，都覆盖到了。

他提到，衡量效率不能只数每轮生成了多少token，每轮花的时间也得算进去；质量方面则要结合答案正确率、代码通过率来看。报告末尾，他还谈了这些方法在流式视频、语音修复、多模态和智能体上的应用探索。

下面是演讲的主要内容。

写一本书，一般是先起草一遍，然后一遍遍重写。改前面章节的时候，会跟后面的内容对照；琢磨“僧推月下门”还是“僧敲月下门”，同样得看上下文。可见创作文本时，未必严格按从左到右的顺序走。

扩散语言模型正是照这个思路做的：一次预测多个空缺位置，再逐步把文本补全。这次分享要聊的重点，就是怎么在质量不打折的情况下，把生成速度尽量提上去。

自回归模型借助链式法则，把联合概率分布拆成一系列条件分布，标准解码就是依次预测下一个token，也就是文本的基本单元。这次重点讲的掩码扩散模型做法不同：先对序列里不同位置分别做随机掩码，掩码比例随时间步变化，然后学习反向恢复过程——看着带掩码的序列，把缺失的内容预测出来。

推理阶段，模型每一轮会对所有掩码位置给出预测，但只挑一部分提交，剩下的留给后面几轮迭代。比如六个token，可以三轮生成完。不过轮数变少，不等于实际速度就按比例提升，因为每轮的计算开销同样要算进去。

LLaDA把这条路线做到了8B参数规模。预训练阶段，它对完整序列做随机掩码；监督微调阶段，只掩码回答部分。它同时展示了生成能力随训练算力扩展的走势。

Dream走的是另一条路：拿现成的自回归模型权重来用，再做扩散继续训练。这里要动两处：注意力从因果结构改成双向结构，学习任务从预测下一个token改成恢复掩码内容。Dream还保留了预测位置偏移一位的结构，为的是更好地复用自回归模型的能力。从零预训练也好，从已有模型转换也好，都能做出性能不错的扩散语言模型。

衡量效率有个直观的公式：实际速度大致等于每轮有效提交的token数除以每轮耗时。每轮有效提交多少token，看TPF，也就是每次前向计算中真正落定的token数量；每秒能产出多少token，看TPS。除此之外，答案正确率、代码通过率这些质量指标同样要盯住。

早期的扩散语言模型卡在两个地方。一个是KV缓存不好复用，上下文得一遍遍重算；另一个是生成窗口尺寸写死，长文本输出不够灵活。每轮只收两三个token，却要为整个窗口重复算一遍，开销就这样越滚越大。

Block Diffusion走的是“块内扩散、块间自回归”的路子：块内部并行生成，生成完把KV状态缓存下来，再推进下一个块。计算能复用，输出长度也能靠追加块拉长。

不过它的并行只发生在块内。代码里相距很远的一对括号，如果落在不同块里，就没法同时生成。于是我们希望前一个块还没收尾时，后边的块也能一起开工。

D2F（Discrete Diffusion Forcing）把Diffusion Forcing的思路搬进语言模型：靠前的块噪声低、信息更完整，靠后的块噪声高，多个块一起去噪。前面内容逐步确定，后面的生成也跟着往前走。

训练阶段，用带双向上下文的教师模型去指导学生模型，学生采用块状因果注意力：块内拿到双向信息，块间保持因果，已完成的前序块就能进KV缓存。

推理阶段，当前块生成进度往前走，系统就追加新块；完成的块写入缓存，后面的块接着生成。

增益来自两处：多个块同时生成，每轮提交量上去了；缓存已完成块的同时还能继续解码后续块，省掉了专门为写缓存再跑一次前向计算的情况。

再往下分析，D2F还有训练和推理对不上的毛病。训练时整个回答被切成多个块，噪声通常逐步递增；真到推理时，同时活跃的一般只有两三个块，相邻块的噪声差距还可能拉得很大。

于是有了MultiBD，即多块扩散。训练设计要把推理中出现的窗口大小、块的位置、噪声间隔都覆盖进去。比如两个、三个或四个块同时生成时，某个块可能处在不同位置、进度各不相同。把这些组合模拟一遍，模型对推理状态就更适应。

并行度提上来，还得有配套的推理引擎。多块生成时，每轮活跃块数量会变，计算图跟着变。我们的做法是设一块固定大小的Block Buffer，用固定的物理槽位装动态运行的块：完成的块进缓存，新块占用空出来的槽位，动态调度的开销就压下来了。

两张H100、单样本、张量并行度2的测试设置下，MBD-LLaDA2-Mini跑到约746 TPS。这里还是得把每步产出和每步耗时放在一起看，光凭TPF判断实际加速并不可靠。

就算上了多块生成，质量和速度之间照样有取舍。解码接收阈值调低，每轮多收几个token，生成是快了，质量可能受损。早期上下文还不充分，一口气提交太多内容，误判容易被放大。

一类办法叫Consistency Force，简称CForce：拿后期更充分的预测去指导早期预测。

做法是先收集模型自己的解码轨迹，按掩码比例切成阶段，相邻阶段配成监督对，让早期预测向后期预测靠拢。有编辑能力的模型，待填充的位置、已经生成又被改掉的位置，都能拿来学。再加上与目标置信度挂钩的分布约束和交叉熵监督，模型就能学会该怎么正确提交token。

解码阈值和块长不变的前提下，LLaDA2.1-mini经过CForce训练，四项任务平均得分从85.57升到86.41，平均TPF从6.94升到9.08。两张H20、张量并行度2、单样本的系统测试里，GSM8K和HumanEval上的速度分别约为1232和1353 TPS。

另一类是强化学习。扩散语言模型面对同一个问题，生成顺序可以不一样，这些轨迹不光最终答案可能不同，生成并行度也可能不同。所以奖励可以把“答得对不对”和“生成得快不快”一起算进去。

LightningRL的做法是，先对正确性奖励和TPF奖励分别做组内标准化，再把两者合并用于更新；同时引入token级负对数似然损失，避免训练跑偏。采样阶段则要尽可能覆盖并行度各异的轨迹，并留出能答对题的探索余地。

在两项数学任务和两项代码任务上，这一方法平均TPF为7.32，MBPP上达到11.10。固定TPF为7再做对比，GSM8K准确率从原始SDAR的71.2%升至87.5%。

训练之外，推理算法本身也能改。邓志杰提到的是Fast-dLLM和LoPA。

Fast-dLLM不需要额外训练，靠两种策略配合。其一是近似KV缓存：双向注意力模型里，上下文一变，其他位置的状态也跟着变，所以复用旧状态只能算近似；把前缀缓存起来、对尚未生成的掩码后缀也做缓存，重复计算就少了。

其二是基于置信度的解码，每轮不再预设固定接受多少token，而是把预测置信度超过阈值的位置都收下。缓存省的是每轮时间，置信度解码提的是每轮提交量。

实验条件为LLaDA-Instruct、GSM8K 5-shot、生成上限256、单张A100、批量为1，两者叠加后速度从6.7升到54.4 TPS，准确率则从79.3%变成78.5%。

LoPA想得更远一步：眼下挑中某个位置解码之后，能不能让下一步更容易冒出大量高置信度预测，也就是下一步并行度更高，把整个推理过程再压快些？说白了，这是在解码时往前看一步。

可只盯着未来置信度也会翻车，简单的前瞻策略可能挑中生成快、内容却差的路径。LoPA的办法是保住基于当前置信度的基础路径，另外构造若干前瞻候选，并行比较它们后续剩余掩码位置的置信度，挑出更利于继续并行解码的那一支，验证得到的预测结果也一并复用。

多加探索分支一般能抬高潜在并行度，但收益会慢慢见顶。系统层面，不同候选的验证被分发到多块GPU上并行跑，再同步选中的状态与缓存。MBPP测试中，配合LoPA的分布式推理引擎，单样例请求生成速度达到1073.9 token/s。

流式视频生成是第一个方向。多块并行的思路和视频生成很对路，视频本身又常用固定大小的运行窗口。团队把它扩展成WaveForcing，让不同视频块停在不同去噪阶段，流水线填满后便持续出帧。

这既要训练模型适应多块噪声状态，也离不开系统优化。不同GPU各管一块时，KV通信可以和计算重叠；VAE解码同样要与生成过程并行，免得拖成整体瓶颈。

测试中端到端速度约为117帧/秒，后续系统优化又提到150帧/秒，视频质量、动态性和长视频稳定性也一并兼顾。

第二个方向是语音修复。噪声、混响、带宽受限、丢包，这些情况下模型既要还原自然的声音，又得留住“说了什么”和“谁在说话”。扩散语言模型能借助整句前后文补回受损语义，也能用上文本预训练里的语言先验。

TIMUSE分两步走：先用Whisper编码，配合文本扩散语言模型恢复语义token；再拿退化语音的声学信息，通过条件流匹配和声码器重建声音。实验表明，掩码生成与文本预训练对内容准确性有帮助，音质和音色基本保持住了。

多模态与智能体是另一个方向。LLaDA-o尝试把文本扩散与图像等模态的生成结合起来，靠理解分支和生成分支之间的双向注意力，协调各模态的表示与生成过程。

智能体场景里，模型得调用工具、接收反馈，再接着生成。LLaDA 2.2还试了删除、插入、重新生成这几类编辑操作，配上相应语料做监督微调，扩散语言模型就能学会这些本事。邓志杰认为，这也是往后值得继续探的应用方向。

答：如今已经可以做到。早先的模型一般设有固定窗口，比如 512 个 token，回答一旦超出窗口，就可能被截断；反过来，如果回答提前结束，模型可以生成 EOS，也就是结束标记，并不要求把整个窗口填满。

换用块状生成之后，一个块结束时若尚未出现 EOS，还能接着追加下一个块。至于具体依据 EOS 怎么停止，得看模型训练时的分布以及推理策略，各家模型的做法并不完全一致。