写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%

资讯 网易科技 作者:网易 全文 5093 字 · 约 13 分钟读完 配图 8 张 分类英伟达芯片

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%,锚点,上下文,显式标识,英伟达seed

所属频道 算力与芯片

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 1)

Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。

这个改动利用了一个区别:为后续生成写下记忆,所需的深层计算可以远少于预测下一个 token。SEED 在五种已训练的混合大模型上测量了这种差别,并把它用于减少预填充计算。

解码侧还有另一处空间。模型每步读写的循环状态,往往包含一个接近固定方向的主分量,剩余内容则具有低秩结构。SEED 将状态保存在这种分解形式下,让模型直接读取和更新它。在 Qwen3.8-Flash-Next 上,单请求循环状态从 113.2MB 降到刚压缩后的 29.2MB,整个压缩周期平均为 43.4MB。

在 GB300 GPU、SGLang 和编码 Agent 会话轨迹上,SEED 使 Qwen3.8-Flash-Next 的每 GPU 峰值吞吐提升 16%~42%;在相同 P90 用户端到端输出速率的比较点,吞吐提升 23%~42%。五种模型、六个检查点的质量评测则检验了这些改动的精度代价。原模型权重全程冻结,新增组件通过蒸馏训练。

论文《Shallow Encoding Emits Deep Memories》已发布 arXiv 预印本。Mingyuan Ma 与 Yangmin Li 共同主导、同等贡献;其余作者为 Harris Nover、Zheyu Fu、Po-Han Huang、Alex Settle 和 Ashwin Nanjappa,作者均来自 NVIDIA。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 2)

  • 论文链接:https://arxiv.org/abs/2611.06084v1
  • 项目链接:https://latent-voyager-seed.static.hf.space/index.html

固定大小的状态仍然可能很贵

混合架构用少量 softmax 注意力层保存 KV Cache,再用大量线性注意力或状态空间层维护循环状态。KV Cache 随上下文增长,循环状态大小固定,但后者并不小:Qwen3.8-Flash-Next 每个请求的状态,占用空间相当于约 4500 个 token 的注意力缓存。

这些状态每生成一个 token 就要更新一次,还会与活跃请求、缓存前缀争用显存。SEED 分别处理两个阶段的成本:预填充少做深层计算,解码少存循环状态。两项优化都来自现有模型已经表现出的记忆结构。

前 31 层为何足以写出后 17 层的记忆

预填充中,只有最后一个输入 token 的输出用于预测首个回复 token。其余 token 留给后续生成的结果,是各层写出的 KV Cache 和循环状态。研究者因此单独考察了深层网络的写入路径。

研究者将浅层隐藏状态直接送入后续各层的写入路径,省去其他深层计算,再与同深度的提前退出比较:直接将该隐藏状态送入输出头,预测下一个 token。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 3)

表 1 Qwen3.8-Flash-Next 在锚点深度 k=31 处的未训练对比。KL 越小,输出分布越接近原模型。写入路径直接使用原层权重;此处不是蒸馏后的最终结果。来源:论文图 2 (c)。

两个结果相差约 141 倍。浅层特征尚不足以直接预测下一个 token,却已能为深层写出可用的记忆。这就是写入与读取不对称性。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 4)

图 1 SEED 的浅层预填充。emitters 从锚点层输出写出后续层的 KV Cache 和循环状态;最后一个输入 token 仍通过完整网络。来源:论文图 1 (a)。

SEED 用 emitters 实现这条路径。注意力层保留 key、value 和必要索引的生成;循环层还保留写入强度、衰减、短卷积和扫描。这些组件从原层参数初始化,通过蒸馏适配浅层输入,省去完整的深层注意力读出和前馈计算。

计入 emitters 后,Qwen3.8-Flash-Next 除最后一个以外的输入 token,参数相关计算量从 12.1GFLOP 降到 9.1GFLOP,减少约 25%。生成时仍走完整网络,各深层记忆也保留。

锚点深度也不能只看平均 loss。GLM-5.3-Flash 在 k=27 时的分布偏差已经很小,但只能复制出原模型 595 个标识符中的 269 个;移到 k=31 后,可复制 530 个。SEED 因此同时用分布偏差和精确复制测试选深度,避免平均指标掩盖检索失败。

状态里能量最多的部分未必携带最多上下文

Qwen3.8-Flash-Next 有 1728 个 Gated DeltaNet 头,每个头维护一个 128×128 状态矩阵。对这些矩阵做 SVD 后,首个奇异分量所占能量的中位数约为 85%,而且主方向在不相关的输入之间仍然接近。

研究者进一步在通用文本上估计每个头的平均 value 方向,将状态沿该固定方向的投影称为 state sink。这个投影的能量占比中位数约为 75%,与 SVD 给出的 85% 是不同的统计量。去掉该方向后,剩余内容仍很紧凑,中位数头只需约 6 个方向就能保留其 90% 的能量。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 5)

图 2 原状态、固定方向上的 sink 投影与剩余内容。图中的示例头,sink 占 94% 能量;正文的 85% 和 75% 分别是不同统计量的跨头中位数。能量指矩阵元素平方和。来源:论文图 3 (a–c) 及第 4 节。

高能量本身不足以说明哪些部分值得保留。论文做了替换实验:将每个头的 sink 换成其他输入上的平均 sink,后续预测损失只增加约 0.002 nats/token;但若在每个后续步骤都只保留 sink,损失会增加约 1.66 nats/token。前者是预填充结束时的一次干预,后者是持续干预,二者共同说明剩余工作记忆不能丢。

在归一化后,sink 主要提供偏置和增益,对当前输入有用的内容主要在其余部分。SEED 因此将两者分开保存:固定方向由所有请求共享,每个请求只存 sink 系数和工作记忆的低秩因子。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 6)

图 3 状态分解及直接读出。v̄为每个头共享的固定方向;a、U 和 V 属于当前请求。模型用这组因子计算输出,无需为读出重建完整状态矩阵。公式整理自论文第 5.1 节。

以秩 R=16 为例,单头刚压缩后的存储量从 128×128=16384 个数,变为 17×128+16×128=4224 个数。按相同精度计,约为原来的四分之一。近 4 倍的压缩来自表示结构,而非把状态换成更低精度。

能压缩还不够

这组因子必须能持续更新

循环状态每个 token 都要更新。如果每步都重建完整矩阵,再做一次 SVD,存储省下来的成本很可能被计算抵消。SEED 利用原更新规则的结构:每步更新 sink 系数,对已有因子施加衰减,再向两个因子各追加一列,便能表示新的工作记忆。

论文证明,Gated DeltaNet、Kimi Delta Attention 和 Mamba-2 的更新都能保持这种分解形式。两次压缩之间,因子上的更新在数学上精确;低秩截断才引入近似。在 Qwen3.8-Flash-Next 中,R 和压缩周期 W 均为 16,生成 16 个 token 后再将增长的因子压回目标秩。

这也解释了 29.2MB 为何不是恒定占用:追加的列会逐步增加存储量,周期平均为 43.4MB。在五种模型上,状态刚压缩后的压缩比为 2.0~3.9 倍,周期平均为 1.3~2.6 倍。这些数字计算的是循环状态表示,注意力 KV Cache 保持原格式。

误差分析针对开环:压缩递推和精确递推接收相同的 key、value 等输入,且衰减满足收缩条件。此时,误差界不随压缩次数增长。自由生成还会改变后续输入,论文另外跟踪了长解码:在跟踪到 16K 步的模型中,从首个 4K 到最后 4K,压缩次数增至 4 倍,状态引起的分布偏移只增至约 1.2~1.4 倍。

蒸馏后的模型究竟损失了多少能力

SEED 只训练 emitters 和可选的 prompt code,原模型作为冻结教师。训练先用固定文本蒸馏,再在教师与当前组件生成的回复上进行一至两轮训练;Nemotron-3.5-Super 采用第一阶段组件。锚点深度和状态秩使用统一的探测准则选定,不依赖考试分数。

质量测试覆盖 Qwen3.8-Flash-Next、Nemotron-3.5-Lightning、Kimi-Linear、GLM-5.3-Flash 和 Nemotron-3.5-Super,共六个检查点、11 项基准。每道题与原模型配对比较并使用相同采样种子,66 个 “检查点 × 基准” 组合中,63 个分数落在原模型两个标准误范围内或更高。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 7)

图 4 六个检查点在 11 项基准上的质量变化。右图单独考察状态压缩造成的困惑度变化,使用精确预填充。结果支持评测表现接近原模型,并不意味着所有输出完全一致。来源:论文图 6。

显存省下来了

系统为何真的能多服务用户

SEED 在 SGLang 上的端到端验证使用 GB300 GPU,回放 InferenceX 记录的编码 Agent 会话。每个并发点运行 900 秒,原模型与 SEED 使用相同硬件,循环状态均以 FP32 存储,测量包含 emitters 和周期压缩开销。下表同时启用浅层预填充与浅层状态。

写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%(配图 8)

表 2 Qwen3.8-Flash-Next 的每 GPU 服务吞吐。峰值按各自最高测得吞吐比较;P90 列在论文选定的相同用户端到端输出速率点比较,具体取点见论文第 7 节。TP 为张量并行;1P:1D 由一个预填充实例和一个解码实例组成,每个实例使用两张 GPU。来源:论文表 5。

NVFP4 单 GPU 聚合部署下,原模型峰值约为 8.02 万 token/s/GPU,SEED 约为 9.60 万。bf16 预填充与解码分离部署下,峰值则从约 3.39 万提高到 4.81 万。表中吞吐统计包含输入和输出 token,缓存命中的输入同样计入,不能当作单个用户的生成速度。

在这些 MoE 模型的测试负载下,解码阶段的权重读取仍占较大比重,状态变小主要通过容量改善服务,而不只是少搬运一些状态数据。

SGLang 的混合模型前缀缓存与运行中的请求,共用一个循环状态池。状态池满后,系统逐出缓存前缀;新请求再次用到这段上下文,就得重新预填充。并发越高,状态占用与重算之间的联系越明显。

在 NVFP4 TP1、40 个并发会话的测量点,原模型前缀缓存命中率约为 55%,SEED 约为 85%。较小的状态同时给活跃请求和可复用前缀腾出空间,减少重算;浅层预填充又降低了未命中部分的计算量。

PD 分离部署中,主要瓶颈转到预填充实例。仅启用浅层预填充,峰值吞吐就提升约 35%;仅压缩状态提升约 5%;两者一起启用提升约 42%。不同部署的收益来源由此可以分辨:聚合服务更受状态池容量影响,PD 分离则更依赖预填充计算的下降。

P90 用户端到端输出速率将排队和首 token 等待时间也算在内。相同 P90 条件下比较吞吐,是为了比较相近交互体验下能承接多少负载;23%~42% 对应论文选定的比较点,并非任意速率下的固定增幅。低负载时,两种配置的吞吐差异很小,端到端服务验证目前集中在 Qwen3.8-Flash-Next。

混合模型的记忆可以怎样设计

SwiftKV 和 POP 此前已探索过从浅层特征生成 Transformer 深层 KV Cache。SEED 将问题延伸到混合模型:预填充需要写出深层循环状态,解码需要在压缩表示上继续更新,而且原模型权重保持冻结。

这两项发现分别改变了记忆的计算方式和存储方式。深层网络在生成时仍有作用,但为输入 token 写记忆未必需要同样的计算深度;完整状态矩阵仍定义着模型更新,但实现时可以存储并更新一组较小的因子。模型已具备这些结构,SEED 将它们变成了可以测量的服务收益。

收益也有明确范围。SEED 不压缩注意力 KV Cache,长上下文中若 KV Cache 占据主要显存,状态压缩对总显存的贡献会变小。论文讨论的 prompt code 前缀存储尚属后续方向,没有计入本文的服务吞吐。代码、新增组件和训练数据在论文中列为计划公开的材料。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 特朗普访华难破AI僵局 自家官员都不看好

    据WIRED报道,美国总统特朗普即将展开访华行程,但即便其政府内部官员也普遍认为,此访难以在人工智能领域取得实质性进展。英伟达相关丑闻的余波持续发酵,使围绕AI芯片出口与合作的谈判变得异常艰难。中美在AI领域的战略互疑与国内政治压力交织,令外交斡旋空间不断收窄。分析人士指出,技术竞争的结构性矛盾,恐怕不是一次

    来源 AI 科技快讯
  2. 黄仁勋离任后英伟达首场全员大会:克雷斯承诺全面加薪

    黄仁勋离任后,英伟达召开首场全员大会。临时CEO科莱特·克雷斯承诺全面加薪并扩大股权激励,以安抚动荡中的员工情绪。这场会议既是对人心的紧急止血,也折射出这家AI芯片巨头在领导层更迭期面临的治理与人才双重考验。

    来源 AI 科技快讯
  3. 英伟达董事会:无意让黄仁勋回归

    尽管特朗普总统、马斯克及多位硅谷高管公开施压,英伟达董事会仍明确表示「不打算」让被罢免的CEO黄仁勋回归。这场围绕芯片巨头最高权力的博弈,把公司治理、政治干预与AI算力霸权三条线索交织在一起,也让「董事会独立性」成为硅谷新的争议焦点。

    来源 AI 科技快讯
  4. 5450亿美元!高盛大幅上调AI项目融资预测,但关键担保人英伟达正在退场

    其中芯片融资达3200亿美元,较今年增长近七倍,其核心依赖厂商担保以对冲折旧风险。然而英伟达正收紧担保承诺,其主导的5000亿美元融资平台迄今零交易落地。按25%担保比例,3200亿融资需800亿担保支撑,而三大芯片商可纳入指数债券存量仅940亿美元。担保人退场、贷款方要求提高、买方基础收窄,无人接盘风险正上升。

    来源 华尔街见闻
  5. 黄仁勋辞任后英伟达首份财报:营收1158亿美元,新CEO称中国市场归零

    这是黄仁勋辞去英伟达职务的第七天。 刚刚,英伟达发布2026年第三季度财报(2027财年第三财季),这是公司创始人黄仁勋11月12日辞职后的首份财报,由CFO、临时CEO科莱特·克雷斯(Colette Kress)主持财报电话会。 如果只看财务数字,这依然是全球半导体行业最受关注的一份成绩单。但这一次,市场关注的显然不

    来源 AI 行业观察
  6. 微软商业业务 CEO:黄仁勋辞任英伟达 CEO,或促使客户寻求 AI 芯片替代方案

    IT之家 11 月 18 日消息,据彭博社今天(18 日)早间报道,微软商业业务 CEO 贾德森 · 阿尔托夫认为,黄仁勋辞职引发的英伟达人事风波,可能促使客户寻找英伟达 AI 芯片之外的选择。阿尔托夫透露,早在黄仁勋辞职之前,客户就已经表达了希望拥有更多选择的意愿,而最近的消息确实让人们更加确信,多一些选择是件好事。

    来源 腾讯网
  7. 黄仁勋辞任英伟达CEO,微软高管称客户或另寻AI芯片

    IT之家 11 月 18 日消息,据彭博社今天(18 日)早间报道,微软商业业务 CEO 贾德森 · 阿尔托夫认为,黄仁勋辞职引发的英伟达人事风波,可能促使客户寻找英伟达 AI 芯片之外的选择。 阿尔托夫透露,早在黄仁勋辞职之前,客户就已经表达了希望拥有更多选择的意愿,而最近的消息确实让人们更加确信,多一些选择是件好事

    来源 AI 行业观察
  8. “AI央行”开启量化紧缩!英伟达新CEO收紧投资闸门,Neocloud融资命脉告急

    英伟达正在重新定义自己在AI生态中扮演的金融角色。这家芯片巨头的临时CEO Colette Kress在本周财报电话会上明确表示,公司将对未来的投资、承诺和财务担保进行"严格评估"。这意味着,黄仁勋时代那种对AI生态"大手笔、广撒网"的金融支持风格,或将正式画上句号。受冲击最大的是新兴的Neocloud赛道。CoreW

    来源 腾讯网
  9. 英伟达非上市持股增至655亿美元:AI创投格局会怎么变?

    人工智能芯片巨头英伟达的投资版图再次引发行业震动。根据 TechCrunch 的最新报道,英伟达最新披露的数据显示,其对非上市初创公司的持股价值已经暴增至65.5亿美元(约合当前人民币数百亿元),较今年1月报告的22亿美元实现了大幅增长。这一资产的膨胀,既得益于公司近期的大规模新投资,也包含了现有投

    来源 AI 开发者社区
  10. 英伟达非上市持股增至655亿美元:投资加码,AI创投格局将生变?

    英伟达投资版图再受关注。最新披露数据显示,其持有非上市初创公司股权价值已增至65.5亿美元,较1月报告的22亿美元大幅攀升。增长既来自近期大规模新投资,也源于现有投资组合企业估值显著上升。报道称,其前九个月股权投资规模逆势激增,显示这家AI芯片巨头正加速扩张投资布局。

    来源 AI 产业速递
  11. Claude三天完成AMD MI355X适配,CUDA壁垒被撬动?

    人工智能硬件与底层软件生态的竞争格局正在迎来一次深度的结构性松动。近日,业内传出重磅消息,Anthropic旗下的Claude Mythos仅用时3天,且在几乎无需人工干预的情况下,成功完成了对AMD MI355X芯片近100% 的底层内核代码编写。 这一突破性进展直接将原本需要数十名资深工程师耗时

    来源 AI 开发者社区
  12. 英伟达临时CEO反复安抚:公司一切尽在掌控

    WIRED统计了英伟达临时CEO科莱特·克雷斯在公开场合多少次向外界保证“公司一切尽在掌控”。面对AI芯片市场的剧烈波动、投资者疑虑与公司过渡期的不确定性,这句反复出现的承诺既是定心丸,也成了值得玩味的新闻线索。本文梳理克雷斯的表态脉络,分析英伟达当前所处的微妙局面。

    来源 AI 科技快讯
  13. Claude用3天完成AMD MI355X底层适配,CUDA生态生变

    AI硬件与底层软件生态竞争格局出现结构性松动。Anthropic旗下Claude Mythos仅用3天、几乎无需人工干预,完成AMD MI355X芯片近100%底层内核代码编写,把原本需数十名资深工程师6至12个月的适配周期压缩至72小时。实测显示,移植后模型性能表现突出,或显著改变芯片适配效率与生态竞争态势。

    来源 AI 产业速递
  14. Uber创始人穿皮衣要求黄仁勋回归:扬言带领英伟达员工罢工

    Uber联合创始人特拉维斯·卡兰尼克在得州奥斯汀一场投资者会议上身穿黑色皮夹克,公开要求英伟达让黄仁勋回归,并扬言带“镶满晶圆的扩音器”到英伟达办公室带领员工罢工。英伟达董事长已表示公司无意让黄仁勋复职,但硅谷人士要求其回归的呼声仍在发酵。

    来源 凤凰科技
  15. 马斯克:撤换黄仁勋如踢走乔丹

    TechCrunch报道,马斯克将撤换英伟达CEO黄仁勋比作把迈克尔·乔丹踢出球队,并称不认为黄仁勋对美国不忠。文章梳理这一言论的背景,分析英伟达在AI芯片领域的地位、黄仁勋的领导力,以及地缘政治争议下马斯克与英伟达既合作又竞争的复杂关系。

    来源 AI 科技快讯
  16. 英伟达停售H200:25%关税通道终结,对华供货安排落幕

    【TechWeb】当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。 一个时代的终结:黄仁

    来源 AI 行业观察
  17. SpaceX 400亿美元芯片融资或本周入市,租赁定价最高超9%

    财联社11月19日讯(编辑 马兰)据知情人士透露,阿波罗公司为SpaceX筹集的巨额融资最早可能在本周进入市场,这笔资金将被用于购买英伟达的GPU芯片。报道指出,高盛和阿波罗全球管理公司最早可能在本周开始出售这笔约400亿美元交易的部分股权。高盛提供了一笔83亿美元的高级担保贷款,阿波罗则提供近200亿美元的贷款,然后

    来源 腾讯网
  18. 英伟达CEO辞职风波笼罩欧洲最大科技峰会,欧洲AI自主难题待解

    欧盟委员会执行副主席表示,目前欧盟使用的技术约80%都不在欧洲,加快芯片基础设施建设对欧洲来说至关重要文|《财经》研究员 谭海燕编辑|刘以秦当地时间11月9日,被称为欧洲最大的年度科技会议的Web Summit(全球网络峰会)在里斯本开幕,这场峰会持续四天,主办方称来自全球164个国家约七万人参与。峰会开幕之时,前英伟

    来源 腾讯网
  19. 英伟达调整合作模式,提高新兴AI云厂商合作准入门槛

    【环球网科技综合报道】11月19日消息,据TechCrunch报道,英伟达在近日财报电话会议上披露,将调整面向AI云计算企业的合作担保机制,提高相关合作的准入条件,进一步筛选合作对象。据了解,在原有业务模式下,英伟达除向人工智能企业销售GPU产品外,还通过采购承诺、融资协助、股权投资等多种方式,助力合作客户推进数据中.

    来源 腾讯网
  20. 高盛拆解圣诞行情:12月15日前先跌,散户撑起当前买盘

    高盛认为,当前美股买盘结构高度依赖散户支撑。上周散户净买入美股高达62亿美元,为近11周单周峰值,资金集中涌入英伟达、AMD等半导体龙头。而当市场带着"恐惧"进入年末,波动率往往收敛,指数涨幅因此相当有限,且通常需要先经历一轮调整。

    来源 华尔街见闻
  21. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
向下滚动自动加载更多