扩散智能Clover杀入Agent:350亿参数模型跑出5—10倍生成速度
AI 已经开始替人写代码、操作软件、执行复杂任务,但支撑它们的主流大语言模型,仍然在一个 Token 接一个 Token 地生成答案。
AI 已经能替人写代码、操作软件、执行复杂任务,可撑起这些能力的主流大语言模型,依旧是一个 Token 接一个 Token 地往外吐答案。
扩散语言模型走的是另一条路:多个 Token 可以并行生成,生成过程中还能反复调整内容,不必死守从左到右的顺序。这条路线过去最吸引人的地方是速度。如今 Agent 成了大模型竞争的重点,扩散模型也开始试着证明自己能干更复杂的活。
前不久,扩散智能(DiffuSpace)把 Clover-35B-A3B-Preview(下文简称 Clover)开源出来,总参数量 350 亿,激活参数约 30 亿。11 月 19 日,团队正式发布技术报告,SFT 代码也同步开放,模型的架构设计、训练方法与评测结果由此披露得更完整。
技术报告链接:https://arxiv.org/abs/2611.24636
开放代码链接:https://github.com/DiffuSpace/Clover-35B-A3B-Preview/tree/main/sft
在统一评测协议下,技术报告所列对比模型中,Clover 于七项 Agent 指标上全部拿到最高分,覆盖工具使用、专业工作和智能体编程。其中 SWE-bench Verified 为 73.6,Terminal-Bench 2.1 为 51.7。速度上,部分测试配置下,Clover 的 Token 生成速度是同级别自回归模型的 5—10 倍。
不过,从生成 Token 到完成任务,中间还隔着工具调用、环境反馈、测试与代码修复等环节。生成更快,只能压缩其中一部分等待时间;最终能转化成多少实际生产力,还要看任务本身和执行流程等多方面因素。
团队眼下仍在持续验证的,是从生成提速走向完整任务效率提升这件事,扩散智能联合创始人、首席科学家龚珊三在接受 InfoQ 专访时这样表示。为了让扩散模型能够高效应对长上下文和复杂任务,团队对底层架构进行了较大幅度的调整,通过分块扩散来削减重复计算,并在当前生成块内实现双向信息交互。接下来如何把双向建模的范围进一步拓开、让扩散模型在全局规划上的潜力真正释放,依旧是团队下一阶段的研究重心。
对这条技术路线,龚珊三信心很足,此前那个判断她依然坚持:未来一到两年,扩散语言模型有望在部分具体场景里取代同规模的自回归模型。从 2022 年只有少数研究者做早期探索,到现在卷入 Agent 编程和工具使用的竞争,扩散模型一路跨过了哪些门槛,又有哪些方向还值得继续挖?
扩散模型想跑得更快,为什么反而要把文本切成小块?
2022 年龚珊三动手探索扩散语言模型时,自回归生成在大语言模型领域已经是热门路线。她参与的 DiffuSeq,是比较早把扩散机制引入文本条件生成的研究之一。团队当时就判断,这种生成方式或许能带来更高的并行效率,也有希望通过双向信息交互让推理和全局规划能力变好。四年之后再回看,龚珊三认为,这条路线后来的发展大部分都超出了当初的预想。
头一件事是 Scaling。2023 年团队着手扩大模型规模,可当时几乎没有成熟经验可循。能试的技术路径太多,哪种管用、哪种走不通,只能挨个试。团队最早在连续空间里做扩散建模,结果发现学习复杂度太高,模型很难训起来;之后转到离散空间,做了多轮实验,才慢慢摸出一条可行的路。
比试错更折磨人的,是不知道这条路到底走不走得通。那时候研究扩散语言模型的人寥寥无几,既不清楚是否有人在做类似的事,也说不准这个方向能走多远,这种未知本身就够研究人员受的。从最初几个人摸索,到后来组起研究小组,再到现在 Google、Inception、蚂蚁等越来越多团队入场,原本冷门的方向渐渐有了同行者,龚珊三也因此更确信,扩散语言模型值得长期投入。
模型规模一大,有个问题就越来越扎眼:扩散模型处理长上下文时,怎么还能保持高效生成?早期方案得反复处理较大范围的序列,上下文一长,重复计算的开销就跟着涨。
Clover 用分块扩散(Block Diffusion)来化解这个矛盾。生成过程被切成多个 Block,每个块内部照样以扩散方式并行生成 Token,已完成的部分则能借 KV Cache 复用,不必反复计算历史上下文。块内并行生成的好处保住了,长序列生成的开销也压了下来。
但分块之后,模型必须同时处理两类信息:此前已经生成的历史内容,以及当前 Block 内需要相互参照的 Token。为此,Clover 对 Gated DeltaNet(GDN)进行了双向改造,形成 BD-GDN。相比主要面向从左到右生成的原有设计,BD-GDN 既要高效保存和读取历史信息,也要支持当前块内部的双向信息交互。
扩散智能的技术报告显示,Clover 采用混合架构,每四层为一组,包括三层 BD-GDN–dMoE 和一层 Full Attention–dMoE,重复十次。具体实现上,团队把历史状态读取的信息与当前块内部的信息放进同一个 Softmax 中处理,并引入可学习的块大小校准机制;另外增加独立的右侧上下文卷积分支,让模型在处理当前位置时,也能用上当前块内后续位置的信息。这些改造都是为兼顾历史信息复用与块内双向建模。


Clover 走的是分块扩散的路子,一边降低长序列生成开销,一边靠块内双向信息交互,在 Agent 编程、工具使用等任务上交出了有竞争力的成绩。而这还只是扩散模型双向建模能力的一部分:眼下模型仍按 Block 一步步往后生成,双向生成与修改基本局限在块内。
在龚珊三看来,真正的全局规划应当是从头到尾的全局规划,目前这一点其实还没有完全做到。可即便全局建模的潜力尚未充分释放,Clover 已经拿出有竞争力的任务表现,团队也因此更有底气接着往下探。
把生成块做大是方向之一。技术报告显示,在完整的 64 条 Agent 历史轨迹前缀回放测试里,Clover 将块大小从 8 增至 16 之后,每轮提交的 Token 数和实际吞吐量都有提升。接下来团队还会继续研究,更大的生成块会给推理质量和任务表现带来什么影响。
模型生成快了,Agent 办完整件事也能跟着快吗?
对想真正落地的扩散语言模型而言,速度只是头一道坎。Agent 现在得直接读文件、调工具、跑程序,还得盯着执行结果随时调整动作。模型能不能扛下这类复杂活儿,分量已经不输给生成效率。Clover 35B 就把 Agent 编程和工具使用定成了主攻方向。
扩散智能公布的评测里,Clover 35B 在 SWE-bench Verified、Terminal-Bench 2.1 和 τ³ Overall 上的成绩分别是 73.6、51.7 和 65.3,压过所列同规模自回归模型和其他扩散模型。SWE-bench Verified 里有 500 个经人工核验的真实 GitHub 软件工程问题,模型得看懂代码仓库再动手修;Terminal-Bench 2.1 则要求模型在终端环境里真刀真枪执行任务。

可 Agent 最终干得怎么样,不光看模型,任务执行框架(Harness)、工具配置、上下文管理都在掺和。公开评测里,Clover 用的是跟对照模型一样的 Harness,尽量把执行系统差异排除在外。到了实际应用,扩散智能也在做专门适配扩散模型的 Harness,想再把并行生成的优势多榨出一点。
眼下多数 Agent 框架是围着自回归模型转的,流程一般是“生成内容—调用工具—等反馈—接着生成”。扩散模型一次能吐出多个 Token,模型生成和工具执行怎么配合,就有了新玩法。比如几个互不依赖的工具调用,系统可以试着并行跑,不用排着队一个个等。龚珊三的看法是,把模型和 Harness 放一块儿协同设计,Agent 整体执行效率还有往上走的空间。
有些实际任务已经露了这种苗头。一项测试要求通过浏览器建私有项目并邀请成员,Clover 花了 13 个步骤、169.9 秒搞定,对照的 Qwen3.6 Flash 用了 21 个步骤、392.3 秒。另一组 WindTunnel 测试覆盖 49 项任务,Clover 执行耗时中位数 1.52 秒,Jev 与 Mercury 2.5 的组合是 3.21 秒。除了模型响应快,执行步骤和工具调用里的时间开销,也开始成为扩散模型亮效率优势的地方。

但放到更复杂的 AI 编程任务里,写代码只是整个工作流的一截。模型还得跑测试、接报错、改代码,有时候要来回试好几轮。一次生成是快,可要是错误反复冒出来、修个没完,整项任务最后花的时间未必能按比例缩下来。
模型吐 Token 快了好几倍,Agent 办完一整项任务到底能快多少?龚珊三说这是个复杂的工程问题。端到端任务耗时,团队还没做过严格的系统性比较,但按目前的使用体验,她估摸模型速度的提升大致能以 1:1 的比例转成任务效率的提升。往后要是让模型生成和 Harness 里的工具调用等环节配合得更顺,还有机会做出“1+1 大于 2”的效果,团队正朝这个方向摸。
速度之外,扩散模型在代码和结构化数据生成上的一致性也是个潜在长处。代码里前后引用的变量得对得上,JSON 的括号和字段必须卡死格式。扩散模型在一个生成块内部就能同时用上前后位置的信息,龚珊三认为这对生成内容的前后一致有帮助。
当然,Clover 也不是项项评测都领先。Humanity's Last Exam(HLE)这类高难度测试里,它的表现偏弱,部分传统任务的成绩也比 Qwen 略低。龚珊三主要把原因归到相关训练数据不够上。
其实扩散模型并不需要另备一套训练数据。团队现在用的数据跟自回归模型基本一样,差别主要落在数据处理和学习方式上:训练时随机遮蔽(Mask)部分 Token,再让模型学着把这些内容补回来。同一批数据,处理和学习的路子不同,模型最后学到手的本事也可能不一样。
AI 怎么又回头学起“凭直觉做决定”了
这几年,大模型行业一路追更强的推理能力,想拿更长的思维链、更多的测试时计算换更准的答案。不过最近另一种思路开始有人关注:AI 真有必要每次都琢磨那么久吗?
Jev 这类决策模型冒出来之后,行业又把目光挪回类似人类直觉的 System 1 快速决策能力上。在龚珊三看来,Jev 本身有些技术争议,但它确实让人重新掂量快速决策的价值。对以并行生成为一大优势的扩散语言模型来说,这也是个顺风的方向。扩散智能推出 Clover 的时候,就同步亮出了联合决策模型的研究进展,这个场景能把扩散模型在速度和双向信息交互上的长处再放大一些。
龚珊三拿打羽毛球打比方:运动员接球那一下,不会先算球的轨迹、把所有可能的动作分析一遍,再决定怎么挥拍。很多判断靠的是经验攒出来的快速反应,极短时间里就完成了。AI 进了真实环境也会碰上类似情形,比如机器人判断道路安不安全、东西抓不抓得住,或者下一步该往哪个方向挪。要是每次都走一遍漫长的 Thinking 过程,可能根本来不及反应。
可快速做出单个判断只是头一步。几个决策之间有关联的时候,模型能不能既保住响应速度,又把不同判断之间的约束关系照顾到?
扩散智能在官方技术博客里晒了一项合同判断任务:模型要对着同一份合同,回答通知是否及时、保证金该不该保留等五个相互关联的问题。这些问题之间有逻辑约束,比如只有通知及时才允许保留保证金。逐题独立判断的话,模型可能一边认定通知已经超时,另一边又觉得保证金可以留,结论就自相矛盾了。扩散智能的联合决策模型用双向生成机制,让多个答案在同一次生成里互相参照。这项测试中,联合模式五题全对,独立模式答对四题,Jev 只答对两题。
这套联合决策的思路,放到棋类、数独上也同样成立。棋盘上不同落点之间彼此牵制,数独里各格数字互相约束,模型得把多个判断放在一起权衡,不能只盯着单步走得对不对。
内部更大范围的测试也出现了相近的落差。最新技术报告给出的验证集包含 500 组、共 2,420 道关联问题:同一个决策模型若采用联合预测,单题准确率是 93.88%,整组全对率 77.0%;换成独立逐题预测,两项数字分别降到 90.37% 和 65.4%。整组全对率因此提高了 11.6 个百分点,说明这种方式在关联判断任务里确实有用。

与需要生成大段文本的 Agent 任务不同,这类决策的输出范围通常较短、也相对固定,扩散模型正好能借双向信息交互,在一次生成中把多个判断之间的关系一并盘算。拿 Clover 当前的处境对照就更清楚:长序列生成仍被 Block Diffusion 卡着,而联合决策模型可以在较短的输出范围内做完整的双向建模。
除了把决策做快,扩散智能还在琢磨更省力的推理路径,想把扩散架构的并行优势再压榨一些,让响应更快的同时不掉质量。普通用户其实不关心模型内部怎么推理,他们只看结果好不好、思考与干活够不够快。
这些尝试正被推到具身智能等更宽的场子里。龚珊三说,团队已经开始部署机器人并做相关研究,多模态会是下一阶段的重头戏。从 Agent 编程、联合决策一路走到需要实时感知和行动的机器人,扩散智能在给扩散生成范式找更多落脚点。
坚持做基础模型公司,但扩散智能还要跨过几道坎
随着 Clover 涉足 Agent 编程和工具使用,扩散智能自己也做起了 Agent Harness 和编程客户端。表面看,这家专攻扩散语言模型的公司像是往应用层伸手了,可龚珊三把话说得很清楚:扩散智能依旧是一家基础模型公司。
她认为,只做产品的公司很容易被基模吃掉。个人助手、编程助手这类 AI 产品能靠交互体验和特定功能拉开差距,但基础模型能力一涨,这些功能就可能被模型厂商收走。与其跟成熟的 AI Coding 产品抢用户,扩散智能更愿意把钱和人力砸向底层模型。做 Harness 和客户端,主要是适配扩散模型的并行生成特性,让人看到它与自回归模型不一样的使用体验,并不是要转去打 C 端。
基础模型研发里,怎么把训练算力用得更划算同样是道难题。Clover-35B-A3B-Preview 的做法是从已有的自回归模型起步,复用 Qwen3.6-35B-A3B 在预训练阶段攒下的能力,再做扩散适配。这条路省掉了从零训练的投入,团队也能把力气更多放在扩散架构和并行生成上。
训练成本已经因此降了不少,但扩散模型可能还需要更多训练轮次。龚珊三觉得,用训练阶段多投一点,换推理阶段更高的效率,这笔账值得算:模型训完之后要被反复调用,推理端省下的时间和算力,会在长期使用里一点点攒出来。
更现实的麻烦在于,今天大模型的软硬件生态基本围着自回归架构转,现有的推理算子、Serving 框架,乃至 GPU 的算力和显存配置,未必最合扩散模型的胃口。不少基础设施得靠团队自己开发、自己调优。对一家还打算继续把模型做大的创业公司来说,算法突破之外,还有一堆基础设施的活要补。
这也是扩散智能持续往开源生态里投的原因。Clover 已开放模型权重和相关代码,并支持 SGLang、llama.cpp 等推理框架。团队想拉更多开发者进来,一起做模型部署、算子优化和应用探索,把扩散语言模型尚不成熟的工程生态慢慢补起来。
挑战不少,龚珊三却仍守着此前那个挺大胆的判断:未来一到两年,扩散模型有机会替代自回归模型。不过她说的“替代”先发生在部分具体应用场景,并不是短期内全面顶掉 OpenAI、Anthropic 等公司的前沿模型——后者在模型规模、算力和工程生态上的优势,还得花时间追。
更现实的机会可能在端侧部署这类对速度和成本敏感的地方。扩散智能正在试 AI PC、车载等应用:设备本身有相应算力时,本地部署比一直调云端 API 更省长期费用,响应也更及时。技术报告里,团队用配备 16GB 显存的 RTX 5070 Ti、AMD Ryzen 7 9700X CPU 和 64GB 主机内存的机器,通过 SGLang 与 KTransformers 做 GPU–CPU 混合专家推理。Clover 的路由专家权重采用 INT4 量化,主要非专家模块保留 BF16。完整 MATH-500 测试中,优化专家放置后,top-8 验证配置达到 97.52 Tokens/s 的解码吞吐量,人工复核准确率 97.6%;进一步用 top-6 验证时,吞吐量升到 106.25 Tokens/s,准确率 96.0%。

对扩散智能来说,这意味着一开始不必跟参数最大、算力投入最高的前沿模型硬碰硬,而是能在具体场景里,靠同等规模下的能力、速度和成本优势去争替代的机会。
2027 年,扩散智能仍打算把绝大部分资源投进基础模型训练,Scaling 和多模态是两个主攻方向,Agent 产品与开发者生态继续围着模型能力转。四年前,扩散语言模型还是少数研究者在啃的冷门路线;现在,Clover 已经在复杂 Agent 任务里跟自回归模型过招。可算法上的突破,还得靠算力、工程生态和实际应用一起托住,才能真正变成市场竞争力。
对扩散模型而言,真正要紧的突破,也许不是证明它能换一种方式生成 Token,而是让这种不一样,最终变成用户愿意选它的理由。