字节跳动Diff Diffusion:改一个变量不再重吐整个文件

资讯 腾讯网 作者:科技行者 全文 4917 字 · 约 13 分钟读完 分类字节跳动AI 编程

你有没有遇到过这种情况:在IDE里用AI补全代码,明明只是把一个`if value > 0`里的`>`改成`>=`,光标一移动,AI却像没看见这点小改动一样,吭哧吭哧把整段函数从头到尾重新生成一遍,你盯着屏幕等它一个字一个字往外蹦,心里想这不是脱裤子放屁吗。这不是夸张,这是今天绝大多数AI编程助手的真实工作方式。字节跳

所属频道 大厂动态AI 编程与开发

在IDE里用AI补全代码,你有没有碰到过这种情况:只是把`if value > 0`里的`>`改成`>=`,光标一动,AI却像完全没察觉这点小改动,闷头把整段函数从头到尾重新生成一遍。你盯着屏幕看它一个字一个字往外蹦,心里直犯嘀咕:这不是白费劲吗。

这还真不是夸张。今天绝大多数AI编程助手就是这么干活的。字节跳动的一个研究团队盯上了这个让人抓狂的效率问题,写了篇论文叫《Diff Diffusion》,专门来治这个毛病。

**核心问题出在哪**

先说现在主流的两条技术路线,各有各的硬伤。

第一条路线是

自回归模型

这类模型有个要命的地方:生成代码严格从左往右走,哪怕前面90%的代码一个字都没变,它也得从头来,一个token一个token地把没变的部分再"念"一遍。打个比方,你请打字员改一份100页的合同,只有第37页有个错别字,结果人家非要100页全部重打,一个字都不肯跳过,因为他的干活方式就是从第一页按顺序往下打。不这么设计行不行?论文里的实际数据摆着:自回归基线模型在一个典型任务里要走126步解码,耗时3964毫秒,接近4秒。对要求实时响应的IDE插件来说,这种延迟用户能明显感觉到卡。

第二条路线是扩散语言模型

扩散语言模型(dLLM)

Mercury、Gemini Diffusion、Seed Diffusion,还有开源的DiffuCoder、Dream-Coder,这类模型在代码生成任务上已经证明过实力,能并行处理多个位置,理论上比自回归快得多。可问题在于,它们骨子里设计的任务是"从一堆噪声里生成一整段全新代码",而不是"在已有代码上做局部修改"。所以你只想改一个符号的时候,

这两条路线放到IDE编辑预测这个场景里都不太合适。真实的编程有个特点:改动通常是稀疏的、局部的,大部分原始代码要原封不动留下来。论文里提到一个关键观察——开发者写代码时,更多是在编辑和微调已有代码,而不是从零生成一整段新的。Diff Diffusion想解决的就是这个。

**Diff Diffusion到底改了什么**

Diff Diffusion的思路说起来不复杂:既然大部分代码不用动,那为什么不把"去噪"这件事,从"重新生成整段文字"换成"预测一条编辑路径"呢?

具体来说,研究团队把原来

保持不变(直接吐出原token的id);删除这个token;在这个位置前面插入一个待填充的

掩码*:扩散语言模型里,那些还没定下具体内容的位置就是占位符,模型要干的事,就是一步步往这些占位符里填入真实的代码token。

这套机制妙就妙在,它把"改代码"拆成了结构化的编辑动作,而不是笼统地"重写一遍"。举个例子,原来的代码是`if value > 0:`,想改成`if value >= 0:`,在Diff Diffusion的框架里,模型只需把`>`这个token标成替换,其他所有token,`if`、`value`、`0`、冒号,全标为"保持不变",一步到位。不用把整行代码当成噪声重新生成。

这就好比你有一份Word文档要改一个标点,Word的"修订模式"只标出你动过的那一个字符,其他内容原样显示,而不是把整篇文档删掉重打。要是Diff Diffusion不这么设计,继续沿用传统掩码扩散的全量重生成思路,那即便模型内部用了并行解码,每一步还是得处理整条序列的每一个位置,计算量根本降不下来。这也是论文里反复强调这套方法核心价值就是"跳过不需要改的部分"的原因。

论文里还专门设计了插入和删除动作,输出长度因此可以自然变化,不用像很多掩码扩散模型那样先固定一个输出长度的"画布"再往里填。这个设定其实挺关键——代码编辑经常要加一行或者删一行,模型只能在固定长度框架里腾挪的话,很多真实的编辑场景根本没法表达。

**训练数据严重不均衡,怎么办**

这里有个很现实的问题:真实的代码编辑数据里,绝大多数token都是"保持不变",插入、删除、替换这些真正重要的编辑动作只占很小一部分。不做特殊处理,模型很容易"偷懒",学出一个简单粗暴的策略——无脑预测"保持不变"。这样训练集上的准确率看着还不错,但真正有价值的编辑判断完全学不会。

研究团队的应对办法是在损失函数里给插入、删除、替换这三类动作加权,权重设成5,"保持不变"和普通token预测的权重是1。这意味着训练时每做错一次真正的编辑判断,代价是做错一次"该不该保持不变"判断的5倍。道理跟老师批改作业差不多:一份卷子里有95道送分题和5道压轴题,要是每道题分值一样,学生大概率把精力都花在刷送分题上,压根不会去啃压轴题。只有把压轴题分值调高,学生才会真正重视。模型训练也是这个理,用权重把稀疏但关键的编辑动作的学习信号放大,才能逼着模型把注意力放到真正难的地方。

**三阶段训练,一步步教会模型"怎么改代码"**

Diff Diffusion没指望一次训练就把模型调教到位,而是设计了一套循序渐进的三阶段训练方案。

第一阶段叫大规模Git提交持续预训练,用的是

Git提交(commit)

第二阶段是代码编辑监督微调。这一步要让模型从“看懂历史提交记录”进阶到“能处理IDE场景下真实的编辑预测任务”。训练样本由原始代码片段、周围上下文、历史编辑记录和目标片段组成,训练数据结合了

第三阶段叫高级后训练,是整篇论文里技术含量最高的部分。研究团队发现了一个问题:前两个阶段训练时,模型看到的中间状态都是人为构造出来的,是用算法从原始代码和目标代码之间“对齐”出来的;可实际推理时,模型得不断在自己生成的中间状态上继续往下走。两者之间存在落差,学术上叫“训练和推理的分布不一致”。这个问题不解决,模型在真实场景里很容易“一步错步步错”,因为训练时它从没见过自己犯错之后产生的那些中间状态。

针对这个问题,团队搞了两套机制:

Diff-DPO

DPO(直接偏好优化)

AGRPO

这种设计思路挺像教练训练运动员。一个跳水运动员一次跳水动作有10个分解步骤,教练不可能每一步都精确打分再反馈,太低效了;但教练可以让运动员完整跳几次,只看最后入水效果好不好,再把这个整体评价反推到几个关键分解动作上去纠正。

**推理阶段怎么做到更快**

光在模型架构上做文章还不够。Diff Diffusion团队另外搭了一套推理引擎,让"少走几步"真正变成"响应更快"。

这里有三个关键的工程优化。

其中一项是分块并行编辑解码。做法是把要重写的范围划成若干局部块,块内并行执行高置信度的编辑;原始代码中没有改动的token则充当左右两端的"锚点",把编辑边界卡住,避免模型越界乱改。插入动作的长度同样不固定:模型若对某段插入内容有把握,一次插入就能连续输出好几个token,不必逐个往外蹦。

第二个是近似

KV缓存

这里有两层优化。一层针对请求内的稳定上下文,比如系统提示词和没怎么变化的文件内容,直接复用缓存;另一层针对长序列编辑场景,如果只是中间一小段要改,后面一大截代码其实原封不动,团队借鉴了

**实测效果怎么样**

说了这么多设计思路,最终还是要看数据说话。

在公开的

团队还专门构建了一套更贴近IDE真实场景的评测集,拆成了五个子项:

Act看的是该出手时模型能否认准并完成下一步编辑;Stay看的是不该改的时候它会不会乱动;Multi-line考的是跨行联动编辑,比如函数参数和调用链同时改;Roll-back查的是模型会不会把用户刚做的修改错误地撤掉;Delete则看它会不会误删本应保留的代码。

在这套评测上,经过三阶段训练后的Diff Diffusion表现是这样的:Act从CT阶段的41.80%一路提升到

| 模型 | Act(%)↑ | Stay(%)↑ | Multi-line(%)↑ | Roll-back(%)↓ | Delete(%)↓ |

|---|---|---|---|---|---|

| AR基线 | 45.90 | 91.73 | 68.42 | 9.0 | 1.0 |

| Mercury-Coder | 31.97 | 54.32 | 36.84 | 52.5 | 19.5 |

| Diff Diffusion+CT | 41.80 | 89.21 | 68.42 | **7.0** | **0.5** |

| Diff Diffusion+CT+SFT | 49.18 | 89.21 | **73.68** | 9.5 | **0.5** |

| Diff Diffusion+CT+SFT+DPO | 49.18 | 92.45 | 68.42 | 7.5 | **0.5** || Diff Diffusion+CT+SFT+AGRPO | **50.00** | **96.40** | **73.68** | 10.0 | **0.5** |

再看推理延迟。重写范围是140个token时,自回归方案要解码126步,合计耗时3964毫秒;Diff Diffusion只需约5步,耗时被压到415到420毫秒上下。有意思的是,在这个较短的场景下,

而真正有说服力的,是线上A/B测试。团队把Diff Diffusion部署进生产环境,跑了一轮面向真实用户的在线测试,对比的指标有接受率、CPO(每次用户操作AI贡献的字符数)、用户实际采纳的代码行数,还有P50模型推理延迟。

| 模型 | 接受率 | CPO | 采纳行数 | P50模型延迟 ||---|---|---|---|---|

| AR基线 | 23.8% | **1.06** | 93.6 | 116ms |

| Diff Diffusion | **24.0%** | 1.05 | **102.6** | **70.8ms** |

接受率和CPO这两项,基本与自回归基线打平,质量没有让步;用户实际采纳的代码行数却多了9.6%,P50延迟则下降39%。论文还给出了一张按编辑距离分桶的延迟统计图:无论改动范围是10个字符以内的小修小补,还是超过120个字符的大段重写,Diff Diffusion的延迟优势都稳定存在,并没有出现"小改动快、大改动掉链子"的情况。

**这条路还能走多远**

论文末尾也没有回避局限。团队坦言,目前还没对编辑路径扩散这套方法做更深入的理论分析,评测也主要围绕IDE这类对延迟格外敏感的场景展开。像按自然语言指令做编辑、跨文件的仓库级修改,以及把规划、工具调用、人工审核串起来的智能体工作流这些更复杂的情形,团队说会留到未来的研究方向里去。

其实这个方向上已经有不少后续工作在推进。比如

Q&A

Q1:Diff Diffusion是什么?

A:这是字节跳动团队提出的扩散语言模型框架,专攻IDE场景下的代码编辑预测。传统扩散模型的做法是重新生成整段代码,它换了个思路:预测从原始代码到目标代码的编辑路径,只动真正需要改的部分,没变的内容直接跳过。

Q2:Diff Diffusion比传统

A:在公开的

Q3:Diff Diffusion和普通的掩码扩散模型有什么不同?

A:普通掩码扩散模型哪怕只改一小块内容,通常也得把整段序列重新去噪。Diff Diffusion不一样,它设置了保持、删除、插入、替换、填充五种编辑动作,模型只处理真正要改的token,大部分原始代码可以跳过,计算量和延迟因此大幅下降。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 火山引擎领跑MaaS:上半年106.3亿市场暴涨889%

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618文 | 任雪芸封面来源 | 豆包AI 2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服

    来源 腾讯网
  2. AI最近有点忙:陪大爷下棋,还得哄奶奶开心

    乌镇的书场散场,说书先生一句“且听下回分解”,下了台。下一段要等半小时,在北京工作的小何难得和陪爸爸旅游,俩人意犹未尽,桌案上摆着一副象棋,老何拿起棋子,小何不懂棋,但她有豆包。视频通话一开,镜头对准棋盘,豆包开始指挥:“车六平四”“马二进三”。小何听不懂,豆包换了个说法:“你左手边那个炮,过河,放...

    来源 腾讯网
  3. 暴涨889%、半年破百亿,字节阿里百度火拼新战场

    2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。 彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服务,一种云计算服务模式)这块硬骨头,直接和盘踞老大位置多年的阿里云硬碰硬。张鑫深耕容器云的背景,也被外界视作字节决心搭建“完整云版图”

    来源 AI 行业观察
  4. 豆包工作上线21个专业场景工作台,覆盖金融医疗教育等

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月16日报道,今天,字节跳动旗下AI办公产品豆包工作宣布上线“工作台”功能,首批发布了21个专业工作台,覆盖金融投研、医疗、教育、创意设计、营销等多个场景。与普通AI对话不同,这些工作台针对不同职业的工作需求,提前配置好了常用的Skills

    来源 腾讯网
  5. Qwen4-Max发布:单任务费用降58%,1M上下文本周免费开放

    刚刚,阿里正式发布了 Qwen4-Max,这是 Qwen4 系列的第一款模型,上下文 1M,最大输出 393KMoE 架构,2.4T 总参,71B 激活,原生视觉老规矩,这周 Qwen4-Max 在我的 AGI Bar 敞开用,token 免费,开到 11 月 22 日欢迎各位朋友来 AGI Bar,试试这款模型先看一

    来源 腾讯网
  6. AI写代码快,腾讯云黄辉:生产责任没消失,只是要写进系统默认值

    AI 已经能在几分钟内把一个应用的 Demo 写出来,这件事早就不新鲜了。真正悬而未决的,是这些 Demo 能不能走到生产环境,并且一直活下去。 近日在 DBTalk 数据库 AI 技术沙龙成都站上,腾讯云 PG 数据库技术专家黄辉把这个问题摆上了台面,并给出了自己的判断:AI 缩短的是代码生成的时间,不是生产工程的责

    来源 AI 行业观察
  7. 高盛研报:AI学习应用用户激增,维持新东方、好未来买入评级

    11月17日,高盛发表研报指,根据教育行业10月份数据,八大主要学习设备品牌于主要电商平台合计GMV同比跌28%,对比9月为同比跌32%。其中好未来(TAL.US)于主要电商平台售出约9.2万部,GMV约3.77亿元,GMV同比跌幅收窄至29%、环比升12%(9月为同比跌34%、环比跌5%),平均售价同比升21%、环比

    来源 腾讯网
  8. 火山引擎宣布Seedance2.54K API全面开放,支持10-bit色深与样片模式

    11月16日,字节跳动旗下火山引擎宣布,Seedance2.54K视频生成模型的API全面开放,开发者与企业客户即日起可通过接口直接调用该模型,4K级视频生成能力由此进入规模化接入阶段。 据悉,火山引擎已于10月23日正式发布Seedance2.54K。官方称,该模型经专项训练,对人物表情、细微动作

    来源 AI 开发者社区
  9. 硅谷巨头与国内大厂争相布局个人智能体:竞争逻辑生变

    不知道你最近有没有一种强烈的感觉:AI行业打架的姿势,悄悄变了。 过去两年多,大家打开任何一家大厂的发布会,满屏都是熟悉的名词:MMLU跑分又涨了两个点、数学竞赛金牌水准、支持100万上下文、代码生成速度翻倍。 但到了最近这几个月,战火突然烧到了一个新词上——Personal Agent(个人智能体)。 Meta在 2

    来源 AI 行业观察
  10. 梁文锋越过聊天框

    (本文作者为 字母AI,钛媒体经授权发布)文 | 字母AI11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后

    来源 腾讯网
  11. 字节跳动 Seedance 2.5 4K 视频生成模型 API 全面开放

    IT之家 11 月 16 日消息,字节跳动火山引擎官方今日宣布,Seedance 2.5 4K 的 API 全面开放,开发者与企业客户可通过接口调用该 4K 视频生成模型。 IT之家注意到,火山引擎于 10 月 23 日正式发布了 Seedance 2.5 4K,官方称通过专项训练,Seedance 2.5 4K 更充

    来源 AI 行业观察
  12. 豆包工作台首批上线21款:金融医疗教育等场景即开即用

    豆包11月16日在豆包工作中上线「工作台」功能,首批覆盖金融、医疗、教育、创意设计等21个专业场景。该功能为专业工作提供专属 AI 空间,预先配置所需技能与工具,无需从头挑选即可开工,以降低专业场景的 AI 使用门槛。首页提供21款工作台,涵盖金融投研、医生、教师、写作、新媒体创作、数据分析、法律事

    来源 AI 开发者社区
  13. 豆包工作上架「工作台」:首批21款场景,金融医疗教育都能用

    豆包11月16日上线「工作台」功能,首批覆盖金融、医疗、教育、创意设计等21个专业场景。该功能为专业工作提供专属AI空间,预置所需技能与工具,用户无需从头挑选即可开工,降低AI使用门槛。首页提供21款工作台,涵盖金融投研、医生、教师、写作、新媒体创作、数据分析、法律事务、出行规划等,并按场景定制。

    来源 AI 产业速递
  14. AI短剧竞争转向:5.68万部新剧里,仅0.95%播放破亿

    AI短剧的竞争拐点已至。 根据DataEye-ADX行业版最新数据,2026年10月抖音端原生AI剧/漫剧新剧数达5.68万部,播放增量2808.49亿,但播放不足100万的新剧占80.31%,破亿的仅539部、占0.95%。 一方面是AI短内容的产能过剩,低质量的内容充斥市场,抢占了流量高地;另一方面也说明供给端和需

    来源 AI 行业观察
  15. 豆包工作台首批落地21个专业场景:金融医疗教育等专属AI工作空间上线

    IT之家 11 月 16 日消息,豆包工作今天宣布独家上线「工作台」功能,首批覆盖金融、医疗、教育等 21 个专业场景。 据介绍,豆包工作的「工作台」是为用户专业工作场景打造的专属 AI 工作空间。这里预先配置好了专业场景所需技能、工具,大幅降低 AI 使用门槛,提高工作效率。 例如,金融投研工作台首页提供公告解读、业

    来源 AI 行业观察
  16. 腾讯推元宝搜索:AI搜索成新战场,谁能胜出?

    AI时代,搜索业务再次成为兵家必争之地。 图源:元宝搜索 2026年11月11日,公司创办28周年之际,腾讯推出全新搜索产品“元宝搜索”,拥有独立网页。用户也可将QQ浏览器升级至最新版本,在引擎设置选项中选择“元宝搜索”。 不只腾讯,近期阿里巴巴、字节跳动等互联网公司,以及DeepSeek、月之暗面等AI企业都正紧锣密

    来源 AI 行业观察
  17. 豆包工作金融投研工作台实测|9份公告秒筛3条资讯线索,对照原文核查30项事实与数据

    上市公司公告是资本市场研究从业者最稳定的稿源,也是最消耗人力的环节。 每个交易日,沪深北三市新增公告常常数以千计,且大量集中在盘后披露。等公告落地、筛出线索、核完数据、写完稿子,留给资本市场研究从业者的时间十分有限。 具体来说,难的不仅是写,还有“筛”和“核”。大部分公告是程序性披露——董事会决议、章...

    来源 腾讯网
  18. 豆包 App 上线“找店”:商家批量标注地图,团购下单与一键导航在对话内闭环

    据《读佳》报道,字节跳动旗下豆包 App 近日上线“找店”功能,将匹配商家批量标注在地图上,用户点击门店图标即可直达商家页查看团购套餐并下单,也可一键发起导航,把找店、比价、下单与出行的链路收拢至同一对话页面。这是继上线“出行用豆包”超级入口、打通打车导航与酒店预订能力之后,豆包在本地生活场景的又一

    来源 AI 开发者社区
  19. 豆包App上线找店功能:地图标商家,对话内可团购下单与导航

    据《读佳》报道,字节跳动豆包App上线“找店”功能:商家批量标注在地图上,点门店图标可直达商家页看团购套餐并下单,也可一键导航,将找店、比价、下单、出行收拢于同一对话页。继“出行用豆包”超级入口打通打车、导航与酒店预订后,这是豆包本地生活场景的再次落地,也不同于此前AI推荐餐厅仅返回文字清单。

    来源 AI 产业速递
  20. 微软全球大宕机,AI 怎么又成了背锅侠

    微软 Microsoft 365 故障导致德国酒店泳池安全警报未能及时送达,美国 FAA 和 Workday 也接连发生系统异常。三起事故没有共同技术原因的证据,却引发了对 AI 编程、工程师系统理解能力与复杂系统可靠性的讨论。

    来源 爱范儿
  21. 黄仁勋辞任后奥尔特曼首度发声:称其为英雄,但英雄也有缺点

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。奥尔特曼的表态:敬意、共情与留白当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将更重

    来源 腾讯网
向下滚动自动加载更多