写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%

资讯 腾讯网 作者:机器之心 全文 3709 字 · 约 10 分钟读完 配图 1 张 分类Qwen3英伟达芯片

Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。这个改动利用了一个区别:为后续生成写下记忆,所需的深层计

所属频道 算力与芯片

Qwen3.8-Flash-Next 有 48 层。处理一段输入时,


这个改动利用了一个区别:为后续生成写下记忆,所需的深层计算可以远少于预测下一个 token。


解码侧还有另一处空间。模型每步读写的循环状态,往往包含一个接近固定方向的主分量,剩余内容则具有


在 每 GPU 峰值吞吐提升 16%~42%;在相同 。五种模型、六个检查点的质量评测则检验了这些改动的精度代价。原模型权重全程冻结,新增组件通过


论文《Shallow Encoding Emits Deep Memories》已发布



  • 论文链接:https://arxiv.org/abs/2611.06084v1

  • 项目链接:https://latent-voyager-seed.static.hf.space/index.html


固定大小的状态仍然可能很贵


混合架构用少量 softmax 注意力层保存 KV Cache,再用大量线性注意力或状态空间层维护循环状态。KV Cache 随上下文增长,循环状态大小固定,但后者并不小:Qwen3.8-Flash-Next 每个请求的状态,占用空间相当于约 4500 个 token 的注意力缓存。


这些状态每生成一个 token 就要更新一次,还会与活跃请求、缓存前缀争用显存。SEED 分别处理两个阶段的成本:预填充少做深层计算,解码少存循环状态。两项优化都来自现有模型已经表现出的记忆结构。


前 31 层为何足以写出后 17 层的记忆


预填充中,只有最后一个输入 token 的输出用于预测首个回复 token。其余 token 留给后续生成的结果,是各层写出的 KV Cache 和循环状态。研究者因此单独考察了深层网络的写入路径。


研究者将浅层隐藏状态直接送入后续各层的写入路径,省去其他深层计算,再与同深度的提前退出比较:直接将该隐藏状态送入输出头,预测下一个 token。


表 1  Qwen3.8-Flash-Next 在锚点深度 k=31 处的未训练对比。KL 越小,输出分布越接近原模型。写入路径直接使用原层权重;此处不是蒸馏后的最终结果。来源:论文图 2 (c)。


两个结果相差约 141 倍。浅层特征尚不足以直接预测下一个 token,却已能为深层写出可用的记忆。这就是。


图 1  SEED 的浅层预填充。emitters 从锚点层输出写出后续层的 KV Cache 和循环状态;最后一个输入 token 仍通过完整网络。来源:论文图 1 (a)。


SEED 用 emitters 实现这条路径。注意力层保留 key、value 和必要索引的生成;循环层还保留写入强度、衰减、短卷积和扫描。这些组件从原层参数初始化,通过蒸馏适配浅层输入,省去完整的深层注意力读出和前馈计算。


计入 emitters 后,Qwen3.8-Flash-Next 除最后一个以外的输入 token,参数相关计算量从 12.1GFLOP 降到 9.1GFLOP,减少约 25%。生成时仍走完整网络,各深层记忆也保留。


锚点深度也不能只看平均 loss。


状态里能量最多的部分未必携带最多上下文


Qwen3.8-Flash-Next 有 1728 个


研究者进一步在通用文本上估计每个头的平均 value 方向,将状态沿该固定方向的投影称为


图 2  原状态、固定方向上的 sink 投影与剩余内容。图中的示例头,sink 占 94% 能量;正文的 85% 和 75% 分别是不同统计量的跨头中位数。能量指矩阵元素平方和。来源:论文图 3 (a–c) 及第 4 节。


高能量本身不足以说明哪些部分值得保留。论文做了替换实验:将每个头的 sink 换成其他输入上的平均 sink,后续预测损失只增加约 0.002 nats/token;但若在每个后续步骤都只保留 sink,损失会增加约 1.66 nats/token。前者是预填充结束时的一次干预,后者是持续干预,二者共同说明剩余工作记忆不能丢。


在归一化后,sink 主要提供偏置和增益,对当前输入有用的内容主要在其余部分。SEED 因此将两者分开保存:固定方向由所有请求共享,每个请求只存 sink 系数和工作记忆的低秩因子。


图 3  状态分解及直接读出。v̄为每个头共享的固定方向;a、U 和 V 属于当前请求。模型用这组因子计算输出,无需为读出重建完整状态矩阵。公式整理自论文第 5.1 节。


以秩 R=16 为例,单头刚压缩后的存储量从 128×128=16384 个数,变为 17×128+16×128=4224 个数。按相同精度计,约为原来的四分之一。近 4 倍的压缩来自表示结构,而非把状态换成更低精度。


能压缩还不够

这组因子必须能持续更新


循环状态每个 token 都要更新。如果每步都重建完整矩阵,再做一次 SVD,存储省下来的成本很可能被计算抵消。SEED 利用原更新规则的结构:每步更新 sink 系数,对已有因子施加衰减,再向两个因子各追加一列,便能表示新的工作记忆。


论文证明,Gated DeltaNet、两次压缩之间,因子上的更新在数学上精确;低秩截断才引入近似。在 Qwen3.8-Flash-Next 中,R 和压缩周期 W 均为 16,生成 16 个 token 后再将增长的因子压回目标秩。


这也解释了 29.2MB 为何不是恒定占用:追加的列会逐步增加存储量,周期平均为 43.4MB。在五种模型上,状态刚压缩后的压缩比为 2.0~3.9 倍,周期平均为 1.3~2.6 倍。这些数字计算的是循环状态表示,注意力 KV Cache 保持原格式。

误差分析针对开环:压缩递推和精确递推接收相同的 key、value 等输入,且衰减满足收缩条件。此时,误差界不随压缩次数增长。自由生成还会改变后续输入,论文另外跟踪了长解码:在跟踪到 16K 步的模型中,从首个 4K 到最后 4K,压缩次数增至 4 倍,状态引起的分布偏移只增至约 1.2~1.4 倍。


蒸馏后的模型究竟损失了多少能力


SEED 只训练 emitters 和可选的


质量测试覆盖 Qwen3.8-Flash-Next、


图 4  六个检查点在 11 项基准上的质量变化。右图单独考察状态压缩造成的困惑度变化,使用精确预填充。结果支持评测表现接近原模型,并不意味着所有输出完全一致。来源:论文图 6。


显存省下来了

系统为何真的能多服务用户


SEED 在 SGLang 上的端到端验证使用 GB300 GPU,回放 InferenceX 记录的编码 Agent 会话。每个并发点运行 900 秒,原模型与 SEED 使用相同硬件,循环状态均以 FP32 存储,测量包含 emitters 和周期压缩开销。下表同时启用浅层预填充与浅层状态。


表 2  Qwen3.8-Flash-Next 的每 GPU 服务吞吐。峰值按各自最高测得吞吐比较;P90 列在论文选定的相同用户端到端输出速率点比较,具体取点见论文第 7 节。TP 为张量并行;1P:1D 由一个预填充实例和一个解码实例组成,每个实例使用两张 GPU。来源:论文表 5。


NVFP4


在这些


SGLang 的混合模型前缀缓存与运行中的请求,共用一个循环状态池。状态池满后,系统逐出缓存前缀;新请求再次用到这段上下文,就得重新预填充。并发越高,状态占用与重算之间的联系越明显。


在 NVFP4 TP1、40 个并发会话的测量点,原模型前缀缓存命中率约为 55%,SEED 约为 85%。较小的状态同时给活跃请求和可复用前缀腾出空间,减少重算;浅层预填充又降低了未命中部分的计算量。


PD 分离部署中,主要瓶颈转到预填充实例。仅启用浅层预填充,峰值吞吐就提升约 35%;仅压缩状态提升约 5%;两者一起启用提升约 42%。不同部署的收益来源由此可以分辨:聚合服务更受状态池容量影响,PD 分离则更依赖预填充计算的下降。


P90 用户端到端输出速率将排队和首 token 等待时间也算在内。相同 P90 条件下比较吞吐,是为了比较相近交互体验下能承接多少负载;23%~42% 对应论文选定的比较点,并非任意速率下的固定增幅。低负载时,两种配置的吞吐差异很小,端到端服务验证目前集中在 Qwen3.8-Flash-Next。


混合模型的记忆可以怎样设计


SwiftKV


这两项发现分别改变了记忆的计算方式和存储方式。深层网络在生成时仍有作用,但为输入 token 写记忆未必需要同样的计算深度;完整状态矩阵仍定义着模型更新,但实现时可以存储并更新一组较小的因子。模型已具备这些结构,SEED 将它们变成了可以测量的服务收益。


收益也有明确范围。SEED 不压缩注意力 KV Cache,长上下文中若 KV Cache 占据主要显存,状态压缩对总显存的贡献会变小。论文讨论的 prompt code 前缀存储尚属后续方向,没有计入本文的服务吞吐。代码、新增组件和训练数据在论文中列为计划公开的材料。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 彭博社:黄仁勋离任英伟达 CEO 后,日本 AI 股首当其冲

    IT之家 11 月 19 日消息,彭博社今天(11 月 19 日)发布博文,报道称英伟达管理层变动及创始人黄仁勋突然离任,正引发全球 AI 概念股新一轮抛售,日本相关股票首当其冲。 彭博社指出日本股市风向从“AI 溢价”转向“AI 折价”,投资者重新审视日本芯片、半导体设备与 AI 基础设施企业,关注重点转向未来盈利能

    来源 AI 行业观察
  2. 黄仁勋欲回英伟达:与特朗普走太近引争议?

    一句“我爱我们的国家”,让黄仁勋的道歉变成新一轮舆论风暴。据Ars Technica报道,在英伟达面临的监管调查不断升级之际,黄仁勋表达了希望重回公司的意愿,却被批评者指为与特朗普政府关系过密。本文梳理事件脉络、英伟达的监管处境,以及芯片巨头在政治漩涡中的两难。

    来源 AI 科技快讯
  3. 黄仁勋离任后英伟达首场全员大会:克雷斯承诺全面加薪

    黄仁勋离任后,英伟达召开首场全员大会。临时CEO科莱特·克雷斯承诺全面加薪并扩大股权激励,以安抚动荡中的员工情绪。这场会议既是对人心的紧急止血,也折射出这家AI芯片巨头在领导层更迭期面临的治理与人才双重考验。

    来源 AI 科技快讯
  4. 英伟达拒重新任命黄仁勋:CEO辞职后请缨回归未获批准

    据TechCrunch报道,英伟达前CEO黄仁勋在上周辞职后提出愿意重返最高职位,但公司明确表示不计划重新任命其为CEO。这一表态终结了外界对这家AI芯片巨头领导层变动的猜测,也引发了对创始人角色与公司治理边界的讨论。本文梳理事件始末、行业背景及潜在影响。

    来源 AI 科技快讯
  5. 黄仁勋辞任后英伟达首份财报:营收1158亿美元,新CEO称中国市场归零

    这是黄仁勋辞去英伟达职务的第七天。 刚刚,英伟达发布2026年第三季度财报(2027财年第三财季),这是公司创始人黄仁勋11月12日辞职后的首份财报,由CFO、临时CEO科莱特·克雷斯(Colette Kress)主持财报电话会。 如果只看财务数字,这依然是全球半导体行业最受关注的一份成绩单。但这一次,市场关注的显然不

    来源 AI 行业观察
  6. 谷歌趁英伟达换帅窗口接单:TPU 长期供应谈判已启动

    财联社11月17日讯(编辑 马兰)英伟达过去一直是人工智能行业的定海神针,但随着黄仁勋的离开,这家尚未确定未来首席执行官人选的芯片巨头可能将失去自己在行业中的主导地位,而从中获益最多的公司将是谷歌。知名IT分析师郭明錤最新表示,由于英伟达继任CEO的不确定,谷歌将与主要客户讨论2028年以后的长期TPU供应计划。来..

    来源 腾讯网
  7. 黄仁勋道歉后想回英伟达:与特朗普走太近遭质疑?

    一句“我爱我们的国家”,让黄仁勋的道歉变成新一轮舆论风暴。据Ars Technica报道,在英伟达面临的监管调查不断升级之际,黄仁勋表达了希望重回公司的意愿,却被批评者指为与特朗普政府关系过密。本文梳理事件脉络、英伟达的监管处境,以及芯片巨头在政治漩涡中的两难。

    来源 AI 行业观察
  8. 英伟达非上市持股增至655亿美元:AI创投格局会怎么变?

    人工智能芯片巨头英伟达的投资版图再次引发行业震动。根据 TechCrunch 的最新报道,英伟达最新披露的数据显示,其对非上市初创公司的持股价值已经暴增至65.5亿美元(约合当前人民币数百亿元),较今年1月报告的22亿美元实现了大幅增长。这一资产的膨胀,既得益于公司近期的大规模新投资,也包含了现有投

    来源 AI 开发者社区
  9. 英伟达非上市持股增至655亿美元:投资加码,AI创投格局将生变?

    英伟达投资版图再受关注。最新披露数据显示,其持有非上市初创公司股权价值已增至65.5亿美元,较1月报告的22亿美元大幅攀升。增长既来自近期大规模新投资,也源于现有投资组合企业估值显著上升。报道称,其前九个月股权投资规模逆势激增,显示这家AI芯片巨头正加速扩张投资布局。

    来源 AI 产业速递
  10. Claude三天完成AMD MI355X适配,CUDA壁垒被撬动?

    人工智能硬件与底层软件生态的竞争格局正在迎来一次深度的结构性松动。近日,业内传出重磅消息,Anthropic旗下的Claude Mythos仅用时3天,且在几乎无需人工干预的情况下,成功完成了对AMD MI355X芯片近100% 的底层内核代码编写。 这一突破性进展直接将原本需要数十名资深工程师耗时

    来源 AI 开发者社区
  11. 黄仁勋辞任后首次表态:若获准愿重回英伟达CEO岗位

    英伟达创始人黄仁勋在辞任后首次公开表态,称若董事会与股东允许,他将“感到荣幸”重返CEO岗位。这一简短声明迅速引发市场对英伟达治理结构、战略连续性和AI芯片竞争格局的关注。分析认为,创始人回归既能稳定军心,也可能带来权力集中与继任计划不清的争议。

    来源 AI 行业观察
  12. Claude用3天完成AMD MI355X底层适配,CUDA生态生变

    AI硬件与底层软件生态竞争格局出现结构性松动。Anthropic旗下Claude Mythos仅用3天、几乎无需人工干预,完成AMD MI355X芯片近100%底层内核代码编写,把原本需数十名资深工程师6至12个月的适配周期压缩至72小时。实测显示,移植后模型性能表现突出,或显著改变芯片适配效率与生态竞争态势。

    来源 AI 产业速递
  13. 特朗普AI冠军名单将出炉:超25家获出口快批,管制转向

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"

    来源 AI 科技快讯
  14. 英伟达临时CEO反复安抚:公司一切尽在掌控

    WIRED统计了英伟达临时CEO科莱特·克雷斯在公开场合多少次向外界保证“公司一切尽在掌控”。面对AI芯片市场的剧烈波动、投资者疑虑与公司过渡期的不确定性,这句反复出现的承诺既是定心丸,也成了值得玩味的新闻线索。本文梳理克雷斯的表态脉络,分析英伟达当前所处的微妙局面。

    来源 AI 科技快讯
  15. 英伟达CEO被解职前:桥水索罗斯Druckenmiller调仓分化

    随着2026年三季度13F文件集中披露,全球顶级投资机构的持仓调整路径浮出水面——英伟达遭遇机构史上罕见的大分流,桥水转向AI硬件产业链,索罗斯完成"芯片内部换仓",Druckenmiller大举清仓半导体并转向黄金与SpaceX,伯克希尔则继续远离科技追逐,坚守地产与航空。 这批截至9月30日的持仓报告,恰好卡在一个

    来源 AI 行业观察
  16. GPU还能撑多久:SC26专家激辩AI与HPC下一步

    多年来,应对日益增长的人工智能和高性能计算需求,主要依靠增加GPU数量。但这种方法还能持续多久?尤其是在我们迈向泽级计算的时代?处理器和内存之间的数据传输已经存在诸多问题,随着系统规模的扩大,这些问....

    来源 腾讯网
  17. 黄仁勋松口愿回归CEO:英伟达董事会仍称未考虑

    黄仁勋声明称,若董事会认为他回归符合公司、股东和员工的最佳利益,他愿意重新出任CEO。声明传出后,早盘曾跌近2%的标普和早盘曾跌超2%的纳指一度收窄过半跌幅,早盘曾跌超3%的半导体指数一度仅跌0.1%。

    来源 华尔街见闻
  18. 英伟达七年19笔并购:AI推理为主,克制是常态

    如果只看英伟达的营收和市值,很容易把它当成一家“卖算力/芯片的公司”。 但如果看它过去七年做过的很多笔并购案,会发现另一个不一样的英伟达。这是一家并购风格理性克制,把“技术”当成核心能力的公司:它很少为了并表收入而收购,也很少为了消灭对手而收购,它买的大多是能把它的GPU变成更强、更难绕开的技术能力。 据 IT桔子收录

    来源 AI 行业观察
  19. 英伟达触底、空头逼近极值:AI抛售是转折还是轧空前奏?

    AI交易遭遇技术面与资金面的双重压力,英伟达及半导体板块估值大幅回落,但极端空头仓位与机械性抛售也为轧空创造条件。与此同时,AI资本回流支撑美元,低AI敞口的欧洲股市则成为全球资金寻求多元化配置的新方向。

    来源 华尔街见闻
  20. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
  21. 壁仞入股岸芯、沐曦合资优必选:GPU厂商扎堆机器人芯片

    国产GPU厂商正在寻找数据中心之外的新市场,机器人就是其中一个方向。近日,上海岸芯科技有限公司(以下简称“岸芯科技”)新增股东珠海壁仞集成电路有限公司。 同期,优必选也披露,其与沐曦股份联合发起的曦选创智完成5亿元天使轮融资,首款产品瞄准机器人端侧计算。 从投资创业公司到与整机厂商合资,GPU厂商正以不同方式接近机器人

    来源 AI 行业观察
向下滚动自动加载更多