字节跳动Diff Diffusion:改一个变量不再重吐整个文件
你有没有遇到过这种情况:在IDE里用AI补全代码,明明只是把一个`if value > 0`里的`>`改成`>=`,光标一移动,AI却像没看见这点小改动一样,吭哧吭哧把整段函数从头到尾重新生成一遍,你盯着屏幕等它一个字一个字往外蹦,心里想这不是脱裤子放屁吗。这不是夸张,这是今天绝大多数AI编程助手的真实工作方式。字节跳
在IDE里用AI补全代码,你有没有碰到过这种情况:只是把`if value > 0`里的`>`改成`>=`,光标一动,AI却像完全没察觉这点小改动,闷头把整段函数从头到尾重新生成一遍。你盯着屏幕看它一个字一个字往外蹦,心里直犯嘀咕:这不是白费劲吗。
这还真不是夸张。今天绝大多数AI编程助手就是这么干活的。字节跳动的一个研究团队盯上了这个让人抓狂的效率问题,写了篇论文叫《Diff Diffusion》,专门来治这个毛病。
**核心问题出在哪**
先说现在主流的两条技术路线,各有各的硬伤。
第一条路线是
自回归模型
这类模型有个要命的地方:生成代码严格从左往右走,哪怕前面90%的代码一个字都没变,它也得从头来,一个token一个token地把没变的部分再"念"一遍。打个比方,你请打字员改一份100页的合同,只有第37页有个错别字,结果人家非要100页全部重打,一个字都不肯跳过,因为他的干活方式就是从第一页按顺序往下打。不这么设计行不行?论文里的实际数据摆着:自回归基线模型在一个典型任务里要走126步解码,耗时3964毫秒,接近4秒。对要求实时响应的IDE插件来说,这种延迟用户能明显感觉到卡。
第二条路线是扩散语言模型
扩散语言模型(dLLM)
Mercury、Gemini Diffusion、Seed Diffusion,还有开源的DiffuCoder、Dream-Coder,这类模型在代码生成任务上已经证明过实力,能并行处理多个位置,理论上比自回归快得多。可问题在于,它们骨子里设计的任务是"从一堆噪声里生成一整段全新代码",而不是"在已有代码上做局部修改"。所以你只想改一个符号的时候,
这两条路线放到IDE编辑预测这个场景里都不太合适。真实的编程有个特点:改动通常是稀疏的、局部的,大部分原始代码要原封不动留下来。论文里提到一个关键观察——开发者写代码时,更多是在编辑和微调已有代码,而不是从零生成一整段新的。Diff Diffusion想解决的就是这个。
**Diff Diffusion到底改了什么**
Diff Diffusion的思路说起来不复杂:既然大部分代码不用动,那为什么不把"去噪"这件事,从"重新生成整段文字"换成"预测一条编辑路径"呢?
具体来说,研究团队把原来
保持不变(直接吐出原token的id);删除这个token;在这个位置前面插入一个待填充的
掩码*:扩散语言模型里,那些还没定下具体内容的位置就是占位符,模型要干的事,就是一步步往这些占位符里填入真实的代码token。
这套机制妙就妙在,它把"改代码"拆成了结构化的编辑动作,而不是笼统地"重写一遍"。举个例子,原来的代码是`if value > 0:`,想改成`if value >= 0:`,在Diff Diffusion的框架里,模型只需把`>`这个token标成替换,其他所有token,`if`、`value`、`0`、冒号,全标为"保持不变",一步到位。不用把整行代码当成噪声重新生成。
这就好比你有一份Word文档要改一个标点,Word的"修订模式"只标出你动过的那一个字符,其他内容原样显示,而不是把整篇文档删掉重打。要是Diff Diffusion不这么设计,继续沿用传统掩码扩散的全量重生成思路,那即便模型内部用了并行解码,每一步还是得处理整条序列的每一个位置,计算量根本降不下来。这也是论文里反复强调这套方法核心价值就是"跳过不需要改的部分"的原因。
论文里还专门设计了插入和删除动作,输出长度因此可以自然变化,不用像很多掩码扩散模型那样先固定一个输出长度的"画布"再往里填。这个设定其实挺关键——代码编辑经常要加一行或者删一行,模型只能在固定长度框架里腾挪的话,很多真实的编辑场景根本没法表达。
**训练数据严重不均衡,怎么办**
这里有个很现实的问题:真实的代码编辑数据里,绝大多数token都是"保持不变",插入、删除、替换这些真正重要的编辑动作只占很小一部分。不做特殊处理,模型很容易"偷懒",学出一个简单粗暴的策略——无脑预测"保持不变"。这样训练集上的准确率看着还不错,但真正有价值的编辑判断完全学不会。
研究团队的应对办法是在损失函数里给插入、删除、替换这三类动作加权,权重设成5,"保持不变"和普通token预测的权重是1。这意味着训练时每做错一次真正的编辑判断,代价是做错一次"该不该保持不变"判断的5倍。道理跟老师批改作业差不多:一份卷子里有95道送分题和5道压轴题,要是每道题分值一样,学生大概率把精力都花在刷送分题上,压根不会去啃压轴题。只有把压轴题分值调高,学生才会真正重视。模型训练也是这个理,用权重把稀疏但关键的编辑动作的学习信号放大,才能逼着模型把注意力放到真正难的地方。
**三阶段训练,一步步教会模型"怎么改代码"**
Diff Diffusion没指望一次训练就把模型调教到位,而是设计了一套循序渐进的三阶段训练方案。
第一阶段叫大规模Git提交持续预训练,用的是
Git提交(commit)
第二阶段是代码编辑监督微调。这一步要让模型从“看懂历史提交记录”进阶到“能处理IDE场景下真实的编辑预测任务”。训练样本由原始代码片段、周围上下文、历史编辑记录和目标片段组成,训练数据结合了
第三阶段叫高级后训练,是整篇论文里技术含量最高的部分。研究团队发现了一个问题:前两个阶段训练时,模型看到的中间状态都是人为构造出来的,是用算法从原始代码和目标代码之间“对齐”出来的;可实际推理时,模型得不断在自己生成的中间状态上继续往下走。两者之间存在落差,学术上叫“训练和推理的分布不一致”。这个问题不解决,模型在真实场景里很容易“一步错步步错”,因为训练时它从没见过自己犯错之后产生的那些中间状态。
针对这个问题,团队搞了两套机制:
Diff-DPO
DPO(直接偏好优化)
AGRPO
这种设计思路挺像教练训练运动员。一个跳水运动员一次跳水动作有10个分解步骤,教练不可能每一步都精确打分再反馈,太低效了;但教练可以让运动员完整跳几次,只看最后入水效果好不好,再把这个整体评价反推到几个关键分解动作上去纠正。
**推理阶段怎么做到更快**
光在模型架构上做文章还不够。Diff Diffusion团队另外搭了一套推理引擎,让"少走几步"真正变成"响应更快"。
这里有三个关键的工程优化。
其中一项是分块并行编辑解码。做法是把要重写的范围划成若干局部块,块内并行执行高置信度的编辑;原始代码中没有改动的token则充当左右两端的"锚点",把编辑边界卡住,避免模型越界乱改。插入动作的长度同样不固定:模型若对某段插入内容有把握,一次插入就能连续输出好几个token,不必逐个往外蹦。
第二个是近似
KV缓存
这里有两层优化。一层针对请求内的稳定上下文,比如系统提示词和没怎么变化的文件内容,直接复用缓存;另一层针对长序列编辑场景,如果只是中间一小段要改,后面一大截代码其实原封不动,团队借鉴了
**实测效果怎么样**
说了这么多设计思路,最终还是要看数据说话。
在公开的
团队还专门构建了一套更贴近IDE真实场景的评测集,拆成了五个子项:
Act看的是该出手时模型能否认准并完成下一步编辑;Stay看的是不该改的时候它会不会乱动;Multi-line考的是跨行联动编辑,比如函数参数和调用链同时改;Roll-back查的是模型会不会把用户刚做的修改错误地撤掉;Delete则看它会不会误删本应保留的代码。
在这套评测上,经过三阶段训练后的Diff Diffusion表现是这样的:Act从CT阶段的41.80%一路提升到
| 模型 | Act(%)↑ | Stay(%)↑ | Multi-line(%)↑ | Roll-back(%)↓ | Delete(%)↓ |
|---|---|---|---|---|---|
| AR基线 | 45.90 | 91.73 | 68.42 | 9.0 | 1.0 |
| Mercury-Coder | 31.97 | 54.32 | 36.84 | 52.5 | 19.5 |
| Diff Diffusion+CT | 41.80 | 89.21 | 68.42 | **7.0** | **0.5** |
| Diff Diffusion+CT+SFT | 49.18 | 89.21 | **73.68** | 9.5 | **0.5** |
| Diff Diffusion+CT+SFT+DPO | 49.18 | 92.45 | 68.42 | 7.5 | **0.5** || Diff Diffusion+CT+SFT+AGRPO | **50.00** | **96.40** | **73.68** | 10.0 | **0.5** |
再看推理延迟。重写范围是140个token时,自回归方案要解码126步,合计耗时3964毫秒;Diff Diffusion只需约5步,耗时被压到415到420毫秒上下。有意思的是,在这个较短的场景下,
而真正有说服力的,是线上A/B测试。团队把Diff Diffusion部署进生产环境,跑了一轮面向真实用户的在线测试,对比的指标有接受率、CPO(每次用户操作AI贡献的字符数)、用户实际采纳的代码行数,还有P50模型推理延迟。
| 模型 | 接受率 | CPO | 采纳行数 | P50模型延迟 ||---|---|---|---|---|
| AR基线 | 23.8% | **1.06** | 93.6 | 116ms |
| Diff Diffusion | **24.0%** | 1.05 | **102.6** | **70.8ms** |
接受率和CPO这两项,基本与自回归基线打平,质量没有让步;用户实际采纳的代码行数却多了9.6%,P50延迟则下降39%。论文还给出了一张按编辑距离分桶的延迟统计图:无论改动范围是10个字符以内的小修小补,还是超过120个字符的大段重写,Diff Diffusion的延迟优势都稳定存在,并没有出现"小改动快、大改动掉链子"的情况。
**这条路还能走多远**
论文末尾也没有回避局限。团队坦言,目前还没对编辑路径扩散这套方法做更深入的理论分析,评测也主要围绕IDE这类对延迟格外敏感的场景展开。像按自然语言指令做编辑、跨文件的仓库级修改,以及把规划、工具调用、人工审核串起来的智能体工作流这些更复杂的情形,团队说会留到未来的研究方向里去。
其实这个方向上已经有不少后续工作在推进。比如
Q&A
Q1:Diff Diffusion是什么?
A:这是字节跳动团队提出的扩散语言模型框架,专攻IDE场景下的代码编辑预测。传统扩散模型的做法是重新生成整段代码,它换了个思路:预测从原始代码到目标代码的编辑路径,只动真正需要改的部分,没变的内容直接跳过。
Q2:Diff Diffusion比传统
A:在公开的
Q3:Diff Diffusion和普通的掩码扩散模型有什么不同?
A:普通掩码扩散模型哪怕只改一小块内容,通常也得把整段序列重新去噪。Diff Diffusion不一样,它设置了保持、删除、插入、替换、填充五种编辑动作,模型只处理真正要改的token,大部分原始代码可以跳过,计算量和延迟因此大幅下降。