英伟达SEED:每GPU吞吐最高提升42%,记忆写入不必读全网
写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%
Qwen3.8-Flash-Next 一共 48 层。SEED 的做法是:输入进来后,除了最后一个 token,其余 token 只走前 31 层,后面那 17 层要用的 KV Cache 和循环状态,交给一个轻量的记忆写入组件来生成。等到生成阶段,每个 token 还是老老实实跑满 48 层。
这背后有个差别被利用了起来:要把记忆写下来供后续生成使用,所需的深层计算其实比预测下一个 token 少得多。SEED 在五种已经训练好的混合大模型上把这个差别量了出来,然后拿它去削减预填充阶段的计算量。
解码侧也还有空间可挖。模型每一步读写的循环状态里,通常有一个方向接近固定的主分量,剩下的部分则呈现低秩结构。SEED 就按这种分解形式来存状态,模型直接在这种形式下读取和更新。落到 Qwen3.8-Flash-Next 上,单请求的循环状态从 113.2MB 压到刚压缩后的 29.2MB,整个压缩周期平均为 43.4MB。
在 GB300 GPU、SGLang 和编码 Agent 会话轨迹上测得,SEED 让 Qwen3.8-Flash-Next 的每 GPU 峰值吞吐提升 16%~42%;在相同 P90 用户端到端输出速率的比较点上,吞吐提升 23%~42%。这些改动带来多少精度代价,则由五种模型、六个检查点的质量评测来检验。原模型权重全程冻结,新增组件靠蒸馏训练。
论文《Shallow Encoding Emits Deep Memories》已经以 arXiv 预印本形式发布。Mingyuan Ma 与 Yangmin Li 共同主导、同等贡献;其余作者是 Harris Nover、Zheyu Fu、Po-Han Huang、Alex Settle 和 Ashwin Nanjappa,全部来自 NVIDIA。
-
论文链接:https://arxiv.org/abs/2611.06084v1
-
项目链接:https://latent-voyager-seed.static.hf.space/index.html
固定大小的状态,代价未必就低。
混合架构的做法是:用少量 softmax 注意力层存 KV Cache,靠大量线性注意力层或状态空间层来维护循环状态。KV Cache 会随上下文变长,循环状态的大小虽然固定,却不算小——Qwen3.8-Flash-Next 每个请求的状态,占用的空间差不多相当于 4500 个 token 的注意力缓存。
每生成一个 token,这些状态都要更新一遍,同时还要和活跃请求、缓存前缀抢显存。SEED 把两个阶段的成本分开处理:预填充阶段少做深层计算,解码阶段少存循环状态。这两项优化,都建立在现有模型已经显露出的记忆结构之上。
为什么前 31 层就够写出后 17 层的记忆
预填充时,只有最后一个输入 token 的输出会拿去预测首个回复 token。剩下那些 token 留给后续生成的结果,就是各层写出的 KV Cache 和循环状态。于是研究者把深层网络的写入路径单独拎出来考察。
具体做法是:把浅层隐藏状态直接送进后续各层的写入路径,跳过其他深层计算,再拿它跟同深度的提前退出作对比——也就是把这个隐藏状态直接交给输出头,去预测下一个 token。
表 1 给出了 Qwen3.8-Flash-Next 在锚点深度 k=31 处的未训练对比结果。KL 值越小,说明输出分布越贴近原模型。写入路径上直接采用原层权重,这一结果并非蒸馏完成后的最终版本。来源:论文图 2 (c)。
两个结果差了约 141 倍。浅层特征还不足以直接预测下一个 token,但已经能为深层写出可用的记忆。这便是写入与读取之间的不对称。
图 1 SEED 的浅层预填充。emitters 从锚点层输出写出后续层的 KV Cache 和循环状态;最后一个输入 token 仍通过完整网络。来源:论文图 1 (a)。
这条路径由 emitters 来实现。注意力层这边,保留 key、value 以及必要索引的生成;循环层那边,还要保留写入强度、衰减、短卷积和扫描。这些组件从原层参数初始化,再通过蒸馏适配浅层输入,完整的深层注意力读出和前馈计算就此省掉。
把 emitters 算进来之后,Qwen3.8-Flash-Next 除最后一个之外的输入 token,参数相关计算量由 12.1GFLOP 降至 9.1GFLOP,少了约 25%。生成阶段依旧跑完整网络,各层记忆也都留着。
挑锚点深度,光看平均 loss 不够。GLM-5.3-Flash 在 k=27 时分布偏差已经很小,可原模型 595 个标识符里只复制得出 269 个;换到 k=31,能复制 530 个。所以 SEED 把分布偏差和精确复制测试放在一起决定深度,免得平均指标把检索失败盖过去。
状态里能量最大的那部分,不一定装得下最多上下文。
Qwen3.8-Flash-Next 一共有 1728 个 Gated DeltaNet 头,每个头管着一个 128×128 的状态矩阵。对这些矩阵做 SVD,首个奇异分量拿走的能量中位数在 85% 左右;而且换到互不相关的输入,主方向照样靠得很近。
研究者又在通用文本上估了每个头的平均 value 方向,把状态沿这个固定方向的投影叫 state sink。该投影的能量占比中位数约 75%,跟 SVD 那个 85% 不是同一个统计量。把这个方向拿掉,剩下的内容依然紧凑:中位数头大约只要 6 个方向,就能保住其 90% 的能量。
图 2 画的是原状态、固定方向上的 sink 投影和剩余内容。图中那个示例头,sink 占到 94% 能量;正文的 85% 和 75% 则是不同统计量下的跨头中位数。能量按矩阵元素平方和算。来源:论文图 3 (a–c) 及第 4 节。
能量高,并不等于这部分就该留。论文做了替换实验:把每个头的 sink 换成其他输入上的平均 sink,后续预测损失只多约 0.002 nats/token;可要是在每个后续步骤都只留 sink,损失会涨约 1.66 nats/token。前一种干预只发生在预填充结束时,后一种是持续干预,两相对照说明剩下的工作记忆丢不得。
归一化之后,sink 主要管偏置和增益,对当前输入有用的东西大多在其余部分。SEED 就把两者拆开存:固定方向所有请求共用,每个请求只存 sink 系数和工作记忆的低秩因子。
图 3 展示的是状态分解与直接读出。v̄ 是每个头共享的固定方向;a、U、V 归当前请求所有。模型拿这组因子算输出,读出时不必重建完整状态矩阵。公式整理自论文第 5.1 节。
拿秩 R=16 来说,单头刚压缩完的存储量从 128×128=16384 个数变成 17×128+16×128=4224 个数。同样精度下,大约只剩原来的四分之一。这近 4 倍的压缩来自表示结构本身,不是把状态换成更低精度换来的。
光能压下来还不够。
关键还在于,这组因子得能一直跟着更新。
循环状态每个 token 都要动一次。每步要是重建整个矩阵、再跑一遍 SVD,省下的存储很容易被算力吃掉。SEED 借的是原更新规则的结构:每一步先更新 sink 系数,给已有因子乘上衰减,再往两个因子里各加一列,新的工作记忆就这样表示出来了。
论文给出的证明是,Gated DeltaNet、Kimi Delta Attention 和 Mamba-2 的更新都能维持这种分解形式。两次压缩之间,因子上的更新在数学上是精确的,近似只来自低秩截断。Qwen3.8-Flash-Next 里 R 和压缩周期 W 都取 16,每生成 16 个 token,就把长出来的因子压回目标秩。
29.2MB 也不是恒定占用,原因就在这里:追加的列会让存储量一点点涨上去,按周期平均是 43.4MB。五种模型上,状态刚压缩完的压缩比为 2.0~3.9 倍,周期平均为 1.3~2.6 倍。这些数字算的是循环状态的表示,注意力 KV Cache 还是原格式。
误差分析做的是开环设定:压缩递推和精确递推拿到的 key、value 等输入相同,衰减也满足收缩条件。这种情况下,误差界不会随压缩次数变大。自由生成会改变后续输入,论文因此另外跟踪了长解码:在跟踪到 16K 步的模型中,压缩次数从首个 4K 到最后 4K 增至 4 倍,状态引起的分布偏移只增至约 1.2~1.4 倍。
蒸馏之后,模型的能力到底掉了多少。
SEED 只训练 emitters 和可选的 prompt code,原模型作为冻结教师。训练先拿固定文本做蒸馏,再在教师与当前组件生成的回复上跑一至两轮;Nemotron-3.5-Super 用的是第一阶段组件。锚点深度和状态秩按统一的探测准则挑选,不看考试分数。
质量测试涉及 Qwen3.8-Flash-Next、Nemotron-3.5-Lightning、Kimi-Linear、GLM-5.3-Flash 和 Nemotron-3.5-Super,共六个检查点、11 项基准。每道题都与原模型配对比较,采样种子相同,66 个“检查点 × 基准”组合中有 63 个分数落在原模型两个标准误范围内或更高。
图 4 是六个检查点在 11 项基准上的质量变化。右图单独看状态压缩带来的困惑度变化,用的是精确预填充。结果说明评测表现接近原模型,但不等于所有输出都一模一样。来源:论文图 6。
显存确实省下来了。
系统能多服务用户,原因也在这里。
SEED 在 SGLang 上的端到端验证跑在 GB300 GPU 上,回放的是 InferenceX 记录的编码 Agent 会话。每个并发点运行 900 秒,原模型与 SEED 用同一套硬件,循环状态都以 FP32 存储,测量把 emitters 和周期压缩的开销也算进去了。下表同时开启了浅层预填充与浅层状态。
表 2 给出 Qwen3.8-Flash-Next 的每 GPU 服务吞吐。峰值取各自最高测得值作比;P90 一列则在论文选定的相同用户端到端输出速率点上比较,具体取点见论文第 7 节。TP 指张量并行;1P:1D 由 1 个预填充实例加 1 个解码实例组成,每个实例用 2 张 GPU。来源:论文表 5。
NVFP4 单 GPU 聚合部署下,原模型峰值约 8.02 万 token/s/GPU,SEED 约 9.60 万。换成 bf16 预填充与解码分离部署,峰值从约 3.39 万升到 4.81 万。表中吞吐把输入和输出 token 都算进去,缓存命中的输入同样计入,因此不能当成单个用户的生成速度。在这类 MoE 模型的测试负载里,解码阶段权重读取仍占较大比重,状态变小主要靠容量改善服务,并不只是少搬了一些状态数据。
SGLang 的混合模型前缀缓存和运行中的请求共用一个循环状态池。池子满了,系统就逐出缓存前缀;新请求再用到这段上下文,只能重新预填充。并发越高,状态占用和重算之间的关系越明显。
在 NVFP4 TP1、40 个并发会话的测量点,原模型前缀缓存命中率约 55%,SEED 约 85%。状态小了,活跃请求和可复用前缀都能腾出空间,重算随之减少;未命中的部分,又由浅层预填充压低了计算量。
PD 分离部署里,瓶颈转到预填充实例。只开浅层预填充,峰值吞吐提升约 35%;只压缩状态提升约 5%;两者同时开启提升约 42%。不同部署的收益来源由此能分辨开:聚合服务更受状态池容量影响,PD 分离更依赖预填充计算的下降。
P90 用户端到端输出速率把排队和首 token 等待时间也算了进去。在相同 P90 条件下比吞吐,比的是相近交互体验下能承接多少负载;23%~42% 对应论文选定的比较点,不是任意速率下都固定的增幅。低负载时两种配置的吞吐差别很小,端到端服务验证目前集中在 Qwen3.8-Flash-Next 上。
混合模型的记忆可以怎样设计
SwiftKV 和 POP 此前已探索从浅层特征生成 Transformer 深层 KV Cache。SEED 把这个问题延伸到混合模型:预填充要写出深层循环状态,解码要在压缩表示上继续更新,同时原模型权重保持冻结。
这两项发现分别改动了记忆的计算方式和存储方式。深层网络在生成时仍有作用,但为输入 token 写记忆,未必需要同样的计算深度;完整状态矩阵仍定义着模型更新,实现时却可以存储并更新一组较小的因子。模型本来就有这些结构,SEED 把它们变成了可测量的服务收益。收益也有明确范围。SEED 不压缩注意力 KV Cache,长上下文中若 KV Cache 占了主要显存,状态压缩对总显存的贡献就会变小。论文讨论的 prompt code 前缀存储还属于后续方向,没有计入本文的服务吞吐。代码、新增组件和训练数据在论文中列为计划公开的材料。