NVIDIA SEED:让Qwen预填充计算降25%,显存占用砍半
NVIDIA 发布 SEED 技术,针对 Qwen3.8-Flash-Next 等混合架构模型进行推理优化。通过“浅层编码深层记忆”和“循环状态低秩分解”,SEED 在不改变原模型权重的前提下,将预填充阶段的计算量减少约 25%,单请求循环状态内存占用从 113MB 降至平均 43MB。实测显示,在 GB300 GPU
为什么大模型的“记忆”这么占地方?
如果你最近跑过像
Qwen3.8-Flash-Next 这样的混合架构大模型,可能会注意到一个奇怪的现象:虽然它的注意力机制(Attention)部分用了稀疏或线性处理,但那个所谓的“循环状态”(Recurrent State)依然大得惊人。

在 Qwen3.8-Flash-Next 中,每个请求的循环状态占用空间相当于约 4500 个 token 的注意力缓存。这意味着,哪怕你的上下文没那么长,光是维护这个固定大小的状态,就在疯狂吞噬显存。更麻烦的是,每生成一个 token,这个状态就要更新一次,还要和活跃请求、缓存前缀争抢宝贵的 HBM 带宽。

NVIDIA 最新发布的论文《Shallow Encoding Emits Deep Memories》提出了一套叫 SEED 的方案,专门解决这两个痛点:预填充阶段算得太多,解码阶段存得太多。

有意思的是,SEED 并没有动原模型的权重。它就像给一辆跑车加了个外挂变速箱,既保留了引擎的原厂性能,又让换挡更顺滑。在 GB300 GPU 上的实测数据显示,这套方案能让每 GPU 的峰值吞吐提升 16% 到 42%。对于正在为推理成本头疼的工程团队来说,这是个值得关注的信号。

预填充的秘密:前 31 层就够了

大模型处理输入(预填充)和生成输出(解码)是两个完全不同的过程。在预填充阶段,模型需要读取整个 prompt,为后续的生成打下基础。传统做法是让每个 input token 都跑完完整的 48 层网络。

但 SEED 的研究者发现了一个不对称性:为后续生成写下“记忆”,所需的计算深度远少于预测下一个 token。

在 Qwen3.8-Flash-Next 的 48 层结构中,SEED 让除最后一个以外的所有 token 只运行前 31 层。这 31 层被称为“锚点层”。接着,通过一组轻量的“记忆写入组件”(Emitters),直接为后续的 17 层生成 KV Cache 和循环状态。
为什么要选 31 层?研究者做了大量对比实验。如果层数太浅,比如 GLM-5.3-Flash 在 27 层时,虽然分布偏差很小,但只能复制出原模型 595 个标识符中的 269 个。一旦移到 31 层,可复制的标识符数量跳升到 530 个。这说明,浅层特征虽然不足以直接预测下一个词(那需要完整的 48 层),但已经足够写出高质量的深层记忆。
这种“写入”与“读取”的不对称性是 SEED 的核心洞察。为了实现这一点,SEED 引入了 Emitters。这些组件从原层参数初始化,通过蒸馏适配浅层输入。它们保留了注意力层的 Key/Value 生成逻辑,以及循环层的写入强度、衰减等关键参数,但省去了完整的深层注意力读出和前馈计算。
效果立竿见影。在 Qwen3.8-Flash-Next 上,除最后一个 token 外,其他输入 token 的参数相关计算量从 12.1 GFLOP 降到了 9.1 GFLOP,减少了约 25%。而在生成阶段,模型依然运行完整的 48 层,保证了输出质量不打折。
循环状态的“脱水”处理
预填充算得快了,解码时的显存压力怎么解?
混合架构模型通常用少量 Softmax 注意力层保存 KV Cache,再用大量线性注意力或状态空间层(如 Mamba、DeltaNet)维护循环状态。KV Cache 随上下文增长,而循环状态大小固定。但“固定”不代表“小”。
研究者对 Qwen3.8-Flash-Next 的 1728 个 Gated DeltaNet 头进行了奇异值分解(SVD)。结果发现,每个头的状态矩阵中,首个奇异分量所占能量的中位数高达 85%。更有趣的是,这个主方向在不同输入之间非常稳定,几乎指向同一个固定方向。
研究者将这个固定方向上的投影称为“State Sink”(状态汇)。去掉这个 Sink 后,剩余的内容依然很紧凑,中位数头只需要约 6 个方向就能保留 90% 的能量。
这里有个误区:高能量不等于高信息量。实验显示,如果把每个头的 Sink 替换成平均值,预测损失只增加 0.002 nats/token;但如果只保留 Sink 而丢掉剩余部分,损失会飙升 1.66 nats/token。这说明,Sink 主要提供偏置和增益,而真正对当前输入有用的“工作记忆”,藏在那些低能量的剩余部分里。
SEED 据此设计了一种分解存储方案:
- 固定方向(Sink):由所有请求共享,不占用单个请求的显存。
- 系数与工作记忆:每个请求只存储 Sink 的系数和工作记忆的低秩因子。
以秩 R=16 为例,单头的存储量从 16384 个数骤减到 4224 个数,压缩比接近 4 倍。这不是靠降低精度(如 FP8)换来的,而是基于数学结构的真实压缩。
压缩后的状态还能更新吗?
静态压缩容易,动态更新难。循环状态每生成一个 token 就要更新一次。如果每步都重建完整矩阵再做 SVD,省下的显存会被计算开销吃光。
SEED 的巧妙之处在于,它利用了原更新规则的结构。论文证明,Gated DeltaNet、Kimi Delta Attention 和 Mamba-2 的更新规则,都能保持这种低秩分解形式。
具体操作是:每步更新 Sink 系数,对已有因子施加衰减,再向两个因子各追加一列。这样,新的工作记忆就被表示出来了。在两次压缩之间,因子的更新在数学上是精确的,只有低秩截断时会引入近似误差。
在 Qwen3.8-Flash-Next 中,SEED 设定秩 R=16,压缩周期 W=16。也就是说,每生成 16 个 token,系统会将增长的因子压回目标秩。这也解释了为什么单请求循环状态从 113.2MB 降到刚压缩后的 29.2MB,而整个压缩周期的平均占用为 43.4MB——因为追加的列会逐步增加存储量,直到下一次压缩。
误差分析显示,这种压缩带来的分布偏移非常可控。在长达 16K 步的跟踪中,即使压缩次数增加了 4 倍,状态引起的分布偏移也只增至约 1.2~1.4 倍。对于大多数应用场景,这种精度损失完全可以接受。
实测数据:吞吐提升与缓存命中率
理论再好,还得看落地。NVIDIA 在 SGLang 框架下,使用 GB300 GPU 对 SEED 进行了端到端验证。测试负载来自 InferenceX 记录的编码 Agent 会话轨迹,涵盖了真实的并发场景。
吞吐提升显著
在 NVFP4 单 GPU 聚合部署下,原模型峰值吞吐约为 8.02 万 token/s/GPU,启用 SEED 后提升至 9.60 万。在 bf16 预填充与解码分离(PD 分离)部署下,峰值从 3.39 万提高到 4.81 万。整体来看,每 GPU 峰值吞吐提升了 16%~42%。
更重要的是 P90 用户端到端输出速率。在相同的用户体验标准下,SEED 能承接的负载提升了 23%~42%。这意味着在高峰期,服务器能同时服务更多用户而不卡顿。
缓存命中率翻倍
SGLang 的混合模型前缀缓存与运行中的请求共用一个循环状态池。状态池满了,系统就得逐出缓存前缀。新请求如果用到这段上下文,就得重新预填充,这不仅浪费计算,还增加延迟。
在 40 个并发会话的测量点,原模型的前缀缓存命中率约为 55%,而 SEED 达到了 85%。较小的状态为活跃请求和可复用前缀腾出了大量空间,直接减少了重算次数。浅层预填充又进一步降低了未命中部分的计算量。这两者结合,形成了正向循环。
精度几乎无损
有人可能担心,这么大幅度的优化,模型会不会变笨?研究者在 Qwen3.8-Flash-Next、Nemotron-3.5-Lightning、Kimi-Linear 等五种模型、六个检查点上进行了测试。在 66 个“检查点 × 基准”组合中,63 个分数落在原模型两个标准误范围内或更高。这说明,SEED 在保持精度的同时,确实榨取了系统的性能潜力。
局限性与未来展望
当然,SEED 不是万能药。它目前不压缩注意力 KV Cache。在超长上下文场景中,如果 KV Cache 占据了主要显存,状态压缩对总显存的贡献就会变小。此外,论文中提到的 prompt code 前缀存储尚属后续方向,未计入本次的服务吞吐统计。
但从工程角度看,SEED 的价值在于它揭示了混合模型记忆结构的冗余性。它证明了:深层网络在生成时仍有作用,但为输入 token 写记忆未必需要同样的计算深度;完整状态矩阵仍定义着模型更新,但实现时可以存储并更新一组较小的因子。
随着 Qwen、Kimi、GLM 等主流开源模型纷纷采用混合架构,类似的推理优化将成为标配。SEED 的出现,或许只是开始。对于开发者而言,关注点正从“如何训练更大的模型”转向“如何更高效地运行现有的模型”。在这个阶段,每一兆字节的显存节省,每一次 FLOP 的优化,都直接关系到真金白银的成本。
目前,SEED 的相关代码、新增组件和训练数据已计划公开。对于正在构建高并发 LLM 服务的团队来说,这可能是一个值得深入集成的优化选项。