扩散智能发布Clover-35B-A3B：单卡680 tokens/s，Agent评测超Qwen3.6

2008 年，英伟达做过一场挺疯狂的实验，用来展示并行计算有多大威力。

现场先是一台绘画机器人，规规矩矩、一个像素接一个像素地画出一幅「笑脸」简笔画。

紧接着画风就变了。工作人员开动一台装有 1100 个彩弹发射管的巨型装置，一声巨响，上千颗彩弹几乎同时打出去，画布上落满密密麻麻的颜料，一幅《蒙娜丽莎》瞬间成形，只用了 80 毫秒。

两种画法，把串行和并行的差别摆得明明白白。

18 年后，并行计算已经是人工智能发展的重要基础，英伟达 GPU 撑起了当下的大模型训练和推理。可有意思的是，主流大语言模型大多还在用一种相当「串行」的方式产出文本。

它们跟当年那台绘画机器人一样，从左往右，一个 Token 接一个 Token 地吐答案。算力再强，后一个 Token 通常也得等前一个生成完。

那能不能让语言模型也学那台彩弹装置，一次同时生成多个 Token？

扩散语言模型（dLLM）走的就是这条路。近两年这个方向热度明显上升，相关模型的表现也在不断刷新大家的认知。

最近，这一方向上实力靠前的玩家、也是全球扩散语言模型最大规模融资纪录的创造者——扩散智能（DiffuSpace）公布了新进展，开源扩散语言模型 Clover-35B-A3B-Preview。官方数据显示，新模型在多项能力评测中达到或超过同规模自回归模型，生成速度也更快，而且这些成绩出在智能体编程、工具使用这类偏难的任务上。

过去大家常拿这类模型开玩笑，「别管对不对，你就说快不快吧」，说的就是速度和质量难以兼顾。这回 Clover 35B-A3B 在自己的尺度上给出了证明：高速生成和高性能，能装在同一个模型里。

扩散语言模型这条赛道的前沿，看来又被推了一步。

这一回，dLLM 和自回归模型

站到了同一条起跑线上

说细节之前，先看看 Clover 35B-A3B 是怎么干活的：

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

这个 demo 里，模型接到的要求是用单个 HTML 文件模拟一个桌面环境，窗口能拖动，还要能打开多个小应用。Clover 照着需求生成了带程序坞、窗口系统的模拟桌面，记事本、计算器、时钟、天气、设置等应用都在。生成过程中，它在多个位置同时快速落笔，不放慢根本看不清。

实测数字是：单张 GB300 上，Clover 整体生成速度 680 tokens/s，H200 上为 515 tokens/s；同规模 Qwen 模型加 DFlash2 加速方案是 365 tokens/s。

这种速度优势在好几个场景里都验证过：

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

有一项任务是查「从 CMU 到最近的 Wendy's 要开多久」。地图搜索不带位置信号，直接搜店名会跳到缅因州。Clover 发现结果跑偏，就一步步补上城市和邮编改写检索，页面卡住后两次重置重来，最后用 28 步、169.9 秒找到正确门店。对照的 Qwen3.6 Flash 把 30 步用满、耗时 578.3 秒，还停在 347 公里外的一家店，任务评判没过。

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

一条复合空管报文，要并行解析出禁飞区解除、航点修改、任务分配等五项任务。Clover 用 0.97 秒把五项结果同时给对；Qwen 花了 3.78 秒，还把其中一项测绘任务错解成医疗任务。

快之外，它在智能体编程和工具使用这些任务上也确实能打。

六项 Agent 评测里，Clover 拿到的都是所列模型中的最高分：SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3，压过同为扩散路线的前沿模型 LLaDA 2.2 flash、闭源的 Mercury 2.5，以及同尺寸自回归模型 Qwen3.6-35B-A3B。这些对比对象本身都不弱，测试用的 benchmark 在各家模型发布时也被广泛引用，含金量没什么争议。

这组数字还有一层意义：dLLM 此前一直在自回归后面追，一些比较知名的模型要么跑不了 Agent 任务，要么干脆不开源。Clover 是开源阵营里第一个在 Agent 这个「自回归主场」正面赢下来的扩散模型。

落到真实场景里，这类能力是直接对得上的：客服机器人去查数据库、车载系统去控制车窗，模型在背后干的都是发出工具调用指令这件事；智能体编程的用户群最庞大，付费意愿也最强，早就是能实打实干活的生产力工具了。能拿下这类任务，就说明 dLLM 的并行生成已经不只是停留在「纸面特性」上，它有望成为能落地、也能付费的生产力。

这一点，已经在真实的产品场景里得到了验证。

DiffuSpace 的生态伙伴 SigmaZ 盯上的是实时交互式科普这一块。用户抛出「线粒体是怎么工作的」「日月食为什么不每月发生」这类问题，模型在后台当场生成一个能点击、能交互的 3D 网页来讲解——细胞器可以点开看细节，时间轴可以拖动，看日地月三者怎么相对运动。用户要是接着追问，页面马上重新生成。

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

这个场景把 Clover 的「快」用到了极致。一轮交互下来要产出几万 Token 的网页代码，换自回归模型的 API（几十 TPS）得等上一阵子，Clover 的几百 TPS 几秒就能交活。速度在这里不是加分项，而是产品能不能成立的前提。每个用户卡住的地方都不一样，追问和重新生成必须实时跟上，等久了，学习者刚接上的思路和注意力就散了。

这也不是一次性的演示合作。据 DiffuSpace 联合创始人龚珊三介绍，SigmaZ 在 demo 上线之前就已经试用 Clover 的 API 有一段时间了，对速度和交互体验给了不少正面反馈。说白了，dLLM 的速度优势，已经有人拿它来做产品了。

又快又准，靠的是什么？

Clover 把速度和质量的同步提升做成了现实。这两样通常只能二选一，它却完成了一次帕累托改进。不过大家也好奇：dLLM 既然能同时生成多个 Token，为什么没更早在速度和能力上占住优势？

原因在于，能并行生成，不代表跑起来就一定快。从生成方式到执行效率，中间还隔着缓存复用、注意力计算和生成质量这些坎。

自回归模型虽然一个一个吐 Token，但有套成熟的加速办法：KV Cache。处理过的历史内容缓存下来，生成后续 Token 时直接拿来复用。早期的扩散语言模型得对序列反复去噪，多个位置的内容一直在变，中间结果很难直接复用。一次能预测多个 Token，却可能要把整段内容反复算一遍，并行的收益也就被抵消了。

团队为此引入了块扩散（Block Diffusion）这种块级去噪技术。它走的是一条折中路线：块与块之间按顺序推进，当前块内部靠双向注意力并行去噪。做完的历史块可以复用计算结果，当前块里的多个 Token 又能互相参照、一起生成。

所以 Clover 的并行不是整篇答案一口气生成，而是块内并行加上历史计算复用。

重复计算的问题解决之后，还有一道坎：上下文越拉越长，历史信息怎么高效处理？

这也是自回归模型趟过的路。传统全注意力处理长序列时，计算开销随序列长度呈平方级增长。为了降成本，行业里陆续发展出滑动窗口、稀疏注意力、线性注意力等路线。门控 Delta 网络（Gated DeltaNet，GDN）就是其中一种高效结构，靠递归状态汇集历史信息，把处理长上下文的开销压下来。

Clover 同样要支持长上下文，但不能直接把自回归的设计搬过来。自回归预测下一个 Token，只读左侧已经确定的内容就行；扩散模型得让当前块内不同位置相互参照，一个位置怎么生成，也可能受右侧内容约束。

龚珊三接受采访时说，有的方案只改混合架构里的 Softmax Attention 层，把它变成双向，GDN 那套单向结构原样留着。团队一开始也照着这个思路试过，结果发现，再把双向 GDN 的信息和参数加进来，模型能力还能往上走。

于是 Clover 的核心问题摆在这儿：既要保留高效处理历史的能力，又要让当前块获得充分的双向交互。

按照团队公布的技术说明，Clover 先让两部分信息走不同的处理路径：已经生成的历史，通过 GDN 的递归状态高效压缩；当前块内的 Token，则通过双向 Softmax Attention 做细粒度交互。

接着，模型把历史记忆的读出当成一个独立的信息单元，和块内 Token 放进同一次 Softmax 里参与信息选择，学着判断什么时候依赖历史，什么时候参考当前块。

这里还有个细节：块越大，参与信息选择的 Token 越多，历史信息的权重就可能被稀释。团队为此引入可学习的块大小校准，对这种变化做补偿。

局部特征提取也相应做了调整。原来的因果卷积只能读左侧内容，Clover 给右侧上下文加了独立、零初始化的卷积分支，让模型从预训练的因果卷积行为出发，学着利用左右两侧的特征。

这些改造指向同一个目标：历史记忆保持紧凑，块内交互足够充分，同时让信息选择和局部特征提取适应并行去噪。

由此也能看清自回归、扩散两条路线的同与不同：走向规模化，都得解决长上下文成本、缓存和推理效率；扩散模型还得多处理好双向交互，以及并行度与生成质量之间的关系。

当然，块内双向交互不等于整条长序列上的全局规划。龚珊三也提到，把这种能力扩展到更长序列，仍是后续要探索的问题。Clover 这次验证的，是怎么借助自回归积累的架构与工程基础，再围绕扩散的生成方式做改造，让并行潜力更充分地转化成实际能力和速度。

双向注意力换来的不只是分数。前段时间，TypeSafe 的决策模型 Jev 意外走红——它不做生成，专做快速、结构化的判断，让行业重新意识到 System 1 式快速决策的价值。与 Clover 同步，DiffuSpace 也公布了自己的决策模型，将在后续正式发布。

Jev 的做法是一次只做一个判断，几个判断彼此不搭界；这个模型不一样，它靠双向注意力，一次去噪就能把最多 8 个有关联的判断一起处理掉，让它们相互对照、彼此制约，团队把这叫「联合决策」。

在 500 组、2420 道关联问题的内部验证中，联合模式整组全对率 80.4%，逐题独立作答只有 62.4%，Jev 只有 15.8%。它也是 DiffuSpace 为具身智能准备的 System 1 底座。

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

同一份合同里，两个条款在规则上彼此牵制。联合模式把这两处判断放在一起生成，前后打架的情况少了，翻材料、逐题调用带来的开销也跟着降下来。

2022～2026，一个死磕「非主流」路线的团队

公司注册时间是 2026 年，可 DiffuSpace 在 dLLM 上的摸索要追溯到 2022 年。那时候 ChatGPT 还没火起来，创始人、香港大学教授孔令鹏就带着龚珊三等人研究用扩散模型生成文本。想法很简单：一是我好奇，二是隐约觉得新架构也许能带来自回归范式之外的东西。这个方向当时几乎没人想，做的人更少。

四年走下来，团队的路数挺稳，问题一个接一个地啃。头一个问题是：扩散模型到底能不能生成文本？2022 年他们用 DiffuSeq 给出了回答，这也是最早把扩散模型用于序列到序列文本生成的工作之一，论文发表在 ICLR 2023。

第二个问题是能不能推理。2023 到 2024 年，团队做了 DoT（Diffusion-of-Thought）相关研究，把思维链塞进扩散生成，在数学和逻辑任务上检验这条路线有没有推理能力。它跟自回归 CoT 最不一样的地方是，中间的推理过程允许「改」，错了可以回头修。这种「可修正」的特性，和他们后来反复强调的迭代优化能力是同一条脉络。

第三个问题最棘手：Scaling 到底能不能成立？要跟自回归模型做公平比较，参数规模必须对齐。转机出现在 2024 年中，团队从连续空间改走离散空间的扩散建模路线。文本本身是离散的，这条路径在学习和优化上都容易不少。障碍扫清后，Dream 7B 在 2025 年上半年推出，首次在同等参数规模下全面胜出，规划能力更与 671B 参数的 DeepSeek V3 打平。它的下载量至今已突破 270 万次，「扩散语言模型」这个说法也是从它开始真正站住脚。此前人们的表述只是「用扩散模型做文本生成」，很难被视作一种合格的语言模型。

第四个问题离实用最近：能不能做 Agent？今年是 Agent 大年，自回归模型在这类任务上跑得飞快，扩散模型行不行？Clover 回答的就是这个。终端操作、工具调用、智能体编程，这些本是自回归的「主场」，它不光都能做，还做到了所有扩散语言模型里最强。

四年里不是没人劝他们收手。龚珊三在采访中坦言，2023 年前后关注这个方向的人很少，「很多人并不看好」，外面也有声音劝他们改做别的。那为什么不走？她的回答从第一性原理出发：自回归模型逐字生成的顺序，说到底是人类为了简化训练复杂度硬加给模型的先验，它贴合人写语料的习惯，却不代表这是智能的最优解。按「苦涩的教训」那套逻辑，加给模型的先验越少、让模型自己从数据里学到的自由度越高，天花板就越高。换句话说，自回归今天做到的事，扩散模型原理上都能复刻，理论上限还更高。靠着这个底层认知，他们一路坚持到现在。

最近两年入局的团队多了，龚珊三说「现在的情况比当时好很多了」，谷歌、都已是他们的同路人。大家在各个方向补齐 dLLM 的短板：蚂蚁的 LLaDA 率先把扩散语言模型做到 100B 规模；英伟达一边开源模型，一边围绕推理效率发了大量研究；谷歌则把生成速度推到新的极致；Inception Labs 的 Mercury 虽然闭源，却第一次证明 dLLM 能做成商业产品、靠卖 API 活下来。龚珊三表示，这些同行者的出现，本身就是一种互相确认。

曙光初现，

接下来怎么走？同行者多了，问题也更具体：这些模型先在哪里用起来？

端侧是 DiffuSpace 给出的一个解题方向。这类场景一般只面向单个用户，扩散模型在低批量条件下的速度长处更放得开。眼下 Clover 已在 16GB 显存的 RTX 5070 Ti 上完成 INT4 量化部署，MATH-500 测试里跑出 101.8 tokens/s，对照模型为 48.5 tokens/s。车机同样是团队着力推进的一块，导航、聊天、设备控制都要求响应及时。公开信息显示，华为与地平线是 DiffuSpace 的产业战略投资方，具体落地正在摸索当中。

当然，整个 dLLM 方向眼下还有不少坎。龚珊三认为，行业的一大挑战是把理论上的并行优势真正变成实际效率。这不光牵扯推理框架、缓存和算子优化，还牵扯芯片设计：现有软硬件生态长期围着自回归模型转，而扩散模型对算力、存储及其比例的需求不太一样。单个用户感觉生成更快，不等于一台机器的总吞吐量也更高。这些问题得靠模型团队、硬件厂商和开源社区一起解。

能力上的边界也还在。怎么进一步提高并行度，同时保证多个 Token 的一致性？怎么把块内的双向交互扩展成更长序列上的规划能力？这些都亟待解决。

接下来一段时间，DiffuSpace 打算并行推进几件事。模型方面，下一档是 200 到 300B 规模，多卡通讯和 infra 可以向自回归阵营取经，真正难啃的是大规模强化学习；再往后则要补齐多模态、原生训练具身数据。产品方面，他们和 SigmaZ 的联合后训练瞄准 2000 tokens/s 的吞吐目标，自研 Agent 框架与桌面客户端也将在近期上线。

跟四年前比，相信扩散语言模型能跑起来的人已经越来越多。它能不能成为自回归的那个替代方案，答案或许不用等太久。这本身，就是这条路线最让人期待的地方。