DiffuSpace开源Clo:扩散模型两年内部分替代自回归?
AI 已经开始替人写代码、操作软件、执行复杂任务,但支撑它们的主流大语言模型,仍然在一个 Token 接一个 Token 地生成答案。 扩散语言模型正在尝试另一种路径。它可以并行生成多个 Token,在生成过程中反复调整内容,而不必严格遵循从左到右的顺序。过去,这条路线最大的吸引力是速度;如今,随着 Agent 成为大
写代码、操作软件、执行复杂任务,AI已经能替人干这些活了。可支撑它们的主流大语言模型,生成答案时仍是一个Token接一个Token往外蹦。
扩散语言模型走的是另一条路:多个Token可以并行生成,过程中反复调整内容,不必死守从左到右的顺序。过去这条路线最吸引人的是速度;现在Agent成了大模型竞争的重点,扩散模型也开始证明自己能啃下更复杂的任务。
扩散智能(DiffuSpace)前不久开源了Clover-35B-A3B-Preview(下文简称Clover),总参数量350亿,激活参数约30亿。11月19日,团队正式发布技术报告,同步开放SFT代码,把模型的架构设计、训练方法与评测结果进一步公开。
技术报告链接:https://arxiv.org/abs/2611.24636
开放代码链接:https://github.com/DiffuSpace/Clover-35B-A3B-Preview/tree/main/sft
统一评测协议下,在技术报告所列的对比模型中,Clover于七项Agent指标上全部拿到最高分,覆盖工具使用、专业工作和智能体编程。SWE-bench Verified为73.6,Terminal-Bench 2.1为51.7。速度上,部分测试配置下Clover的Token生成速度是同级别自回归模型的5—10倍。
不过,从生成Token到完成任务,中间还隔着工具调用、环境反馈、测试与代码修复等环节。生成更快,能省掉其中一部分等待时间;最终能兑现多少实际生产力,还要看任务本身和执行流程等多项因素。
“从生成提速到完整任务效率提高,团队还在持续验证。”扩散智能联合创始人、首席科学家龚珊三在接受InfoQ专访时表示。为让扩散模型高效应对长上下文与复杂任务,团队大幅调整了底层架构:一是用分块扩散削减重复计算,二是在当前生成块内实现双向信息交互。下一步,如何进一步拓展双向建模的范围、释放扩散模型的全局规划潜力,仍是团队的研究重点。
龚珊三对这条技术路线信心很足。她仍坚持此前的判断:未来一到两年,扩散语言模型有机会在部分具体场景中替代同规模的自回归模型。2022年还只有少数研究者在摸索,如今已进入Agent编程和工具使用的竞争,扩散模型到底跨过了哪些门槛,又有哪些方向值得继续挖?
扩散模型想跑得更快,为什么反而要把文本切成小块?
2022年龚珊三开始探索扩散语言模型时,自回归生成已经是大语言模型领域的热门路线。她参与的DiffuSeq是较早把扩散机制用于文本条件生成的研究之一。团队当时就意识到,这种生成方式可能带来更高的并行效率,也有望借双向信息交互改善推理与全局规划能力。四年后回头看,龚珊三觉得,这条路线后来的发展大部分都超出了最初的预期。
首先是Scaling。2023年团队开始尝试扩大模型规模,可当时几乎没有成熟经验可借鉴。能探索的技术路径太多,哪种有效、哪种行不通,只能一个个试。团队最初在连续空间里做扩散建模,结果发现学习复杂度很高,模型很难训起来;后来转向离散空间,经过多轮实验才逐渐找到可行的路线。
比试错更难熬的,是不知道这条路究竟能不能走通。当时研究扩散语言模型的人很少,既不清楚别人是不是也在做类似研究,也不知道这个方向能走多远,这种未知对研究人员本身就是一种挑战。从最初只有几个人探索,到后来形成研究小组,再到如今Google、Inception、蚂蚁等越来越多团队加入,原本冷门的方向渐渐有了更多同行者,龚珊三也因此更加确信,扩散语言模型有值得长期投入的发展潜力。
模型规模扩大后,一个问题越来越突出:扩散模型处理长上下文时,怎么才能保持高效生成?早期方案需要反复处理较大范围的序列,上下文一长,重复计算的成本也跟着涨。
Clover用分块扩散(Block Diffusion)来缓解这一矛盾。生成过程被划成多个Block,每个块内部仍以扩散方式并行生成Token,已完成的内容则通过KV Cache复用,避免反复计算历史上下文。块内并行生成的优势保住了,长序列生成的开销也降了下来。
但分块之后,模型必须同时处理两类信息:此前已经生成的历史内容,以及当前Block内需要相互参照的Token。为此,Clover对Gated DeltaNet(GDN)做了双向改造,形成BD-GDN。原有设计主要面向从左到右生成,BD-GDN则既要高效保存和读取历史信息,也要支持当前块内部的双向信息交互。
扩散智能的技术报告显示,Clover采用混合架构,每四层为一组,包括三层BD-GDN–dMoE和一层Full Attention–dMoE,重复十次。具体实现上,团队把历史状态读取的信息与当前块内部的信息放进同一个Softmax中处理,并引入可学习的块大小校准机制;同时增加独立的右侧上下文卷积分支,让模型处理当前位置时也能利用当前块内后续位置的信息。这些改造,都是为兼顾历史信息复用与块内双向建模。
Clover通过分块扩散降低长序列生成的开销,同时借助块内双向信息交互,在Agent编程、工具使用等任务上展现出有竞争力的表现。不过,扩散模型的双向建模能力不止于此:眼下模型仍按Block逐步向后生成,双向生成与修改基本局限在块内。
“真正的全局规划,就是从头到尾的全局规划,现在其实没有完全实现。”在龚珊三看来,全局建模潜力尚未充分释放的Clover已经展现出有竞争力的任务表现,团队也更有信心继续探索。
扩大生成块是方向之一。技术报告显示,在完整的64条Agent历史轨迹前缀回放测试中,块大小从8增至16后,Clover每轮提交的Token数与实际吞吐量都有所提升。更大的生成块会对推理质量和任务表现产生什么影响,团队还将继续研究。
模型生成得快,Agent 干活就能跟着快吗?
扩散语言模型想落地,生成速度只是头一道关。Agent 得直接读文件、调工具、跑程序,再根据执行结果调整下一步动作。这类复杂任务能不能干成,分量已经和生成效率差不多。Clover 35B 因此把 Agent 编程和工具使用当作主攻方向。
扩散智能公布的评测里,Clover 35B 在 SWE-bench Verified、Terminal-Bench 2.1 和 τ³ Overall 上分别拿到 73.6、51.7 和 65.3,在所列同规模自回归模型和其他扩散模型里排在前头。SWE-bench Verified 有 500 个经过人工核验的真实 GitHub 软件工程问题,模型得看懂代码仓库并把问题修好;Terminal-Bench 2.1 要求模型在终端环境里真刀真枪执行任务。
不过,Agent 最终干得怎么样,不光看模型,任务执行框架(Harness)、工具配置、上下文管理都会掺和进来。公开评测中,Clover 用的是和对照模型同一套 Harness,尽量把执行系统差异排除掉。到了实际应用里,扩散智能也在开发专门适配扩散模型的 Harness,想把并行生成的优势再放大一些。
眼下多数 Agent 框架是围着自回归模型搭的,流程通常是“生成内容—调用工具—等反馈—接着生成”。扩散模型一次能吐出多个 Token,模型生成和工具执行怎么配合,就有了新空间。比如几个互不依赖的工具调用,系统可以试着并行跑,不用一个个排队等。龚珊三认为,模型和 Harness 一起设计,Agent 的整体执行效率还有机会往上走。
一些实际任务已经显出这种潜力。有一项测试是用浏览器建私有项目并邀请成员,Clover 花了 13 个步骤、169.9 秒完成,对照的 Qwen3.6 Flash 用了 21 个步骤、392.3 秒。另一组 WindTunnel 测试覆盖 49 项任务,Clover 执行耗时中位数 1.52 秒,Jev 与 Mercury 2.5 组合是 3.21 秒。模型响应速度之外,任务步骤和工具调用过程里的时间开销,也开始成为扩散模型亮效率优势的地方。
可到了更复杂的 AI 编程任务里,生成代码只是整个工作流的一截。模型还得跑测试、处理报错、改代码,有时要来回试好几轮。一次生成是快,但错误反复修,整项任务的时间未必跟着同比例缩短。
模型生成 Token 快了几倍,Agent 干完一整项任务到底能快多少?龚珊三说这是复杂的工程问题。团队还没对端到端任务耗时做严格的系统性比较,按目前的使用体验,她估计模型速度的提升大致能按 1:1 转成任务效率的提升。以后要是让模型生成和 Harness 里的工具调用等环节配合得更顺,还有机会做到“1+1 大于 2”,团队正在往这个方向探。
速度之外,扩散模型在代码和结构化数据生成上的一致性也有潜在好处。代码里前后引用的变量得对得上,JSON 的括号和字段必须守严格格式。扩散模型在一个生成块内部能同时用上前后位置的信息,龚珊三认为这有助于让生成内容前后更一致。
不过 Clover 也不是项项领先。Humanity's Last Exam(HLE)这类高难度测试里,Clover 表现相对弱一些,部分传统任务成绩也略低于 Qwen。龚珊三主要把这归因于相关训练数据不足。
扩散模型其实不用另配一套训练数据。团队现在用的数据和自回归模型基本一样,差别在数据处理和学习方式:训练时随机遮住(Mask)部分 Token,再让模型学着把这些内容恢复出来。同样的数据,处理和学习的路子不同,模型最后掌握的能力也可能不一样。
AI 怎么又开始学“凭直觉做决定”了
过去几年,大模型行业一直往更强推理上使劲,想用更长的思维链、更多的测试时计算换更准的答案。最近另一种思路冒了头:AI 每次真有必要想那么久吗?
Jev 等决策模型出来后,行业重新盯上了类似人类直觉的 System 1 快速决策能力。龚珊三看来,Jev 本身有些技术争议,但它把快速决策的价值重新拉回了人们视线。对以并行生成为重要优势的扩散语言模型来说,这也是个利好方向。扩散智能推出 Clover 时,也同步亮出了联合决策模型的研究进展,这个场景能把扩散模型在速度和双向信息交互上的长处再发挥一层。
龚珊三拿打羽毛球打比方:运动员接球时不会先算球的轨迹、把所有可能的动作分析一遍,再决定怎么挥拍。很多判断靠经验形成的快速反应,极短时间内就完成了。AI 进了真实环境也会碰上类似情形,比如机器人判断道路安不安全、东西能不能抓,或者下一步该往哪个方向挪。每次都要走一遍漫长的 Thinking 过程,可能根本来不及反应。
快速做出单个判断只是头一步。多个决策之间有关联时,模型能不能既保证响应速度,又照顾到不同判断之间的约束关系?
扩散智能在官方技术博客里展示了一项合同判断任务:模型要依据同一份合同,回答通知是否及时、保证金该不该保留等五个相互关联的问题。这些问题之间有逻辑约束,比如只有通知及时才允许保留保证金。逐题独立判断的话,模型可能一边认定通知已经超时,另一边又觉得保证金可以保留,结论就自相矛盾了。扩散智能的联合决策模型用双向生成机制,让多个答案在同一次生成过程中互相参照。这项测试里,联合模式五题全对,独立模式答对四题,Jev 只答对两题。
棋类、数独之类的任务,同样可以用上这种联合决策的思路。不同位置上的选择彼此牵制,模型得把多个判断之间的约束关系一并纳入考虑,光盯住单步决策对不对并不够。
范围更大的内部测试也显示出相近的落差。最新技术报告给出的数字是:在 500 组、共 2,420 道关联问题组成的验证集上,同一个决策模型若采用联合预测,单题准确率为 93.88%,整组全对率为 77.0%;换成独立逐题预测,这两项分别是 90.37% 和 65.4%。整组全对率因此提高了 11.6 个百分点,说明这种方式在关联判断任务里确实有价值。
和那些要生成长文本的 Agent 任务比起来,这类决策的输出通常偏短,范围也相对固定。扩散模型正好能借双向信息交互,在一次生成里把多个判断之间的关系统筹起来。这和 Clover 眼下的全局规划限制恰成对照——长序列生成仍受 Block Diffusion 约束,联合决策模型却能在较短的输出范围内完成完整的双向建模。
除了快速决策,扩散智能还在摸索更高效的推理路径,想让扩散架构的并行优势进一步释放,在加快响应的同时不牺牲推理质量。对用户来说,模型内部走哪套推理机制其实无所谓,能不能在保证结果质量的前提下更快把思考和任务做完,才是关键。
这种探索对扩散智能而言,也开始往具身智能等更宽的场景延伸。龚珊三透露,团队已经着手机器人部署,相关研究也在推进,多模态会是下一阶段的重要方向。从 Agent 编程到联合决策,再到需要实时感知与行动的机器人,扩散智能正在为扩散生成范式寻找更多落地空间。
坚持做基础模型公司,但扩散智能还要跨过几道坎
随着 Clover 面向 Agent 编程和工具使用,扩散智能也在做自己的 Agent Harness 和编程客户端。看上去,这家专攻扩散语言模型的公司正在往应用层走。不过龚珊三把话说得很清楚:扩散智能依然是一家基础模型公司。
“纯做产品的公司,其实很容易被基模吞噬。”她认为,个人助手、编程助手这类 AI 产品能靠交互体验和特定功能做出差异,可基础模型能力一强,这些功能也可能慢慢被模型厂商收走。与其直接和成熟的 AI Coding 产品抢用户,扩散智能更愿意把资源砸向底层模型。做 Harness 和客户端,主要是为了适配扩散模型的并行生成特性,展示它和自回归模型不一样的使用体验,并不是要转去 C 端产品竞争。
基础模型研发里,怎么更有效地用好训练算力,也是一道重要课题。Clover-35B-A3B-Preview 的做法是从已有自回归模型出发,复用 Qwen3.6-35B-A3B 在预训练阶段攒下的能力,再做扩散适配。这条路省掉了从零训练的投入,团队也能更集中力量去探索扩散架构和并行生成能力。
训练成本已经因此大幅下降,但扩散模型仍可能需要更多训练轮次。龚珊三算的是另一笔账:用训练阶段的额外投入,换推理阶段更高的效率,值得考虑。模型训练完会被反复调用,推理端省下的时间和计算成本,可能在长期使用中一点点累积起来。
更现实的难题是,今天大模型的软硬件生态基本围着自回归架构转,现有推理算子、Serving 框架,甚至 GPU 的计算能力和显存配置,未必最适合扩散模型。不少基础设施还得团队自己开发和优化。对一家打算继续扩大模型规模的创业公司来说,算法突破之外,大量基础设施工作也得补上。
这也是扩散智能持续投入开源生态的缘由。Clover 已开放模型权重和相关代码,并支持 SGLang、llama.cpp 等推理框架。团队想吸引更多开发者参与模型部署、算子优化和应用探索,把扩散语言模型尚不成熟的工程生态慢慢补起来。
挑战不少,龚珊三仍坚持此前那个颇为大胆的判断:未来一到两年,扩散模型有机会替代自回归模型。不过她说的“替代”,首先发生在部分具体应用场景,并非短期内全面取代 OpenAI、Anthropic 等公司的前沿模型。后者在模型规模、算力和工程生态上的优势,还需要时间追赶。
更现实的机会,可能出现在端侧部署这类对速度和成本敏感的场景。扩散智能正在探索 AI PC、车载等应用——与持续调用云端 API 相比,设备本身具备相应计算能力时,本地部署能减少长期调用费用,响应也更及时。技术报告中,团队使用配备 16GB 显存的 RTX 5070 Ti、AMD Ryzen 7 9700X CPU 和 64GB 主机内存,通过 SGLang 与 KTransformers 进行 GPU–CPU 混合专家推理。Clover 的路由专家权重采用 INT4 量化,主要非专家模块保留 BF16。在完整 MATH-500 测试中,优化专家放置后,top-8 验证配置达到 97.52 Tokens/s 的解码吞吐量,人工复核准确率为 97.6%;进一步采用 top-6 验证时,吞吐量提升至 106.25 Tokens/s,准确率为 96.0%。
对扩散智能而言,这意味着不必一上来就和参数规模最大、算力投入最高的前沿模型正面硬碰,而是能在具体场景里,凭同等规模下的能力、速度和成本优势去争取替代机会。
2027 年,扩散智能仍计划把绝大部分资源投入基础模型训练,Scaling 和多模态是两个主要方向,Agent 产品与开发者生态则继续围绕模型能力展开。四年前,扩散语言模型还是少数研究者摸索的冷门路线;如今,Clover 已经在复杂 Agent 任务中和自回归模型同台竞争。只是算法上的突破,还得靠算力、工程生态和实际应用一起支撑,才能真正变成市场竞争力。
对扩散模型来说,真正要紧的突破,也许不是证明它能用另一种方式生成 Token,而是让这种不同,最终成为用户愿意选它的理由。