NVIDIA SEED:让Qwen预填充计算降25%,显存占用砍半

资讯 AI 应用前沿 全文 3763 字 · 约 10 分钟读完 配图 8 张 分类QwenQwen3英伟达阿里模型发布存储

NVIDIA 发布 SEED 技术,针对 Qwen3.8-Flash-Next 等混合架构模型进行推理优化。通过“浅层编码深层记忆”和“循环状态低秩分解”,SEED 在不改变原模型权重的前提下,将预填充阶段的计算量减少约 25%,单请求循环状态内存占用从 113MB 降至平均 43MB。实测显示,在 GB300 GPU

所属频道 大厂动态模型发布算力与芯片开源生态

为什么大模型的“记忆”这么占地方?

如果你最近跑过像 Qwen3.8-Flash-Next 这样的混合架构大模型,可能会注意到一个奇怪的现象:虽然它的注意力机制(Attention)部分用了稀疏或线性处理,但那个所谓的“循环状态”(Recurrent State)依然大得惊人。

图片

在 Qwen3.8-Flash-Next 中,每个请求的循环状态占用空间相当于约 4500 个 token 的注意力缓存。这意味着,哪怕你的上下文没那么长,光是维护这个固定大小的状态,就在疯狂吞噬显存。更麻烦的是,每生成一个 token,这个状态就要更新一次,还要和活跃请求、缓存前缀争抢宝贵的 HBM 带宽。

图片

NVIDIA 最新发布的论文《Shallow Encoding Emits Deep Memories》提出了一套叫 SEED 的方案,专门解决这两个痛点:预填充阶段算得太多,解码阶段存得太多。

图片

有意思的是,SEED 并没有动原模型的权重。它就像给一辆跑车加了个外挂变速箱,既保留了引擎的原厂性能,又让换挡更顺滑。在 GB300 GPU 上的实测数据显示,这套方案能让每 GPU 的峰值吞吐提升 16% 到 42%。对于正在为推理成本头疼的工程团队来说,这是个值得关注的信号。

图片

预填充的秘密:前 31 层就够了

图片

大模型处理输入(预填充)和生成输出(解码)是两个完全不同的过程。在预填充阶段,模型需要读取整个 prompt,为后续的生成打下基础。传统做法是让每个 input token 都跑完完整的 48 层网络。

图片

但 SEED 的研究者发现了一个不对称性:为后续生成写下“记忆”,所需的计算深度远少于预测下一个 token。

图片

在 Qwen3.8-Flash-Next 的 48 层结构中,SEED 让除最后一个以外的所有 token 只运行前 31 层。这 31 层被称为“锚点层”。接着,通过一组轻量的“记忆写入组件”(Emitters),直接为后续的 17 层生成 KV Cache 和循环状态。

为什么要选 31 层?研究者做了大量对比实验。如果层数太浅,比如 GLM-5.3-Flash 在 27 层时,虽然分布偏差很小,但只能复制出原模型 595 个标识符中的 269 个。一旦移到 31 层,可复制的标识符数量跳升到 530 个。这说明,浅层特征虽然不足以直接预测下一个词(那需要完整的 48 层),但已经足够写出高质量的深层记忆。

这种“写入”与“读取”的不对称性是 SEED 的核心洞察。为了实现这一点,SEED 引入了 Emitters。这些组件从原层参数初始化,通过蒸馏适配浅层输入。它们保留了注意力层的 Key/Value 生成逻辑,以及循环层的写入强度、衰减等关键参数,但省去了完整的深层注意力读出和前馈计算。

效果立竿见影。在 Qwen3.8-Flash-Next 上,除最后一个 token 外,其他输入 token 的参数相关计算量从 12.1 GFLOP 降到了 9.1 GFLOP,减少了约 25%。而在生成阶段,模型依然运行完整的 48 层,保证了输出质量不打折。

循环状态的“脱水”处理

预填充算得快了,解码时的显存压力怎么解?

混合架构模型通常用少量 Softmax 注意力层保存 KV Cache,再用大量线性注意力或状态空间层(如 Mamba、DeltaNet)维护循环状态。KV Cache 随上下文增长,而循环状态大小固定。但“固定”不代表“小”。

研究者对 Qwen3.8-Flash-Next 的 1728 个 Gated DeltaNet 头进行了奇异值分解(SVD)。结果发现,每个头的状态矩阵中,首个奇异分量所占能量的中位数高达 85%。更有趣的是,这个主方向在不同输入之间非常稳定,几乎指向同一个固定方向。

研究者将这个固定方向上的投影称为“State Sink”(状态汇)。去掉这个 Sink 后,剩余的内容依然很紧凑,中位数头只需要约 6 个方向就能保留 90% 的能量。

这里有个误区:高能量不等于高信息量。实验显示,如果把每个头的 Sink 替换成平均值,预测损失只增加 0.002 nats/token;但如果只保留 Sink 而丢掉剩余部分,损失会飙升 1.66 nats/token。这说明,Sink 主要提供偏置和增益,而真正对当前输入有用的“工作记忆”,藏在那些低能量的剩余部分里。

SEED 据此设计了一种分解存储方案:

  1. 固定方向(Sink):由所有请求共享,不占用单个请求的显存。
  2. 系数与工作记忆:每个请求只存储 Sink 的系数和工作记忆的低秩因子。

以秩 R=16 为例,单头的存储量从 16384 个数骤减到 4224 个数,压缩比接近 4 倍。这不是靠降低精度(如 FP8)换来的,而是基于数学结构的真实压缩。

压缩后的状态还能更新吗?

静态压缩容易,动态更新难。循环状态每生成一个 token 就要更新一次。如果每步都重建完整矩阵再做 SVD,省下的显存会被计算开销吃光。

SEED 的巧妙之处在于,它利用了原更新规则的结构。论文证明,Gated DeltaNet、Kimi Delta Attention 和 Mamba-2 的更新规则,都能保持这种低秩分解形式。

具体操作是:每步更新 Sink 系数,对已有因子施加衰减,再向两个因子各追加一列。这样,新的工作记忆就被表示出来了。在两次压缩之间,因子的更新在数学上是精确的,只有低秩截断时会引入近似误差。

在 Qwen3.8-Flash-Next 中,SEED 设定秩 R=16,压缩周期 W=16。也就是说,每生成 16 个 token,系统会将增长的因子压回目标秩。这也解释了为什么单请求循环状态从 113.2MB 降到刚压缩后的 29.2MB,而整个压缩周期的平均占用为 43.4MB——因为追加的列会逐步增加存储量,直到下一次压缩。

误差分析显示,这种压缩带来的分布偏移非常可控。在长达 16K 步的跟踪中,即使压缩次数增加了 4 倍,状态引起的分布偏移也只增至约 1.2~1.4 倍。对于大多数应用场景,这种精度损失完全可以接受。

实测数据:吞吐提升与缓存命中率

理论再好,还得看落地。NVIDIA 在 SGLang 框架下,使用 GB300 GPU 对 SEED 进行了端到端验证。测试负载来自 InferenceX 记录的编码 Agent 会话轨迹,涵盖了真实的并发场景。

吞吐提升显著

在 NVFP4 单 GPU 聚合部署下,原模型峰值吞吐约为 8.02 万 token/s/GPU,启用 SEED 后提升至 9.60 万。在 bf16 预填充与解码分离(PD 分离)部署下,峰值从 3.39 万提高到 4.81 万。整体来看,每 GPU 峰值吞吐提升了 16%~42%。

更重要的是 P90 用户端到端输出速率。在相同的用户体验标准下,SEED 能承接的负载提升了 23%~42%。这意味着在高峰期,服务器能同时服务更多用户而不卡顿。

缓存命中率翻倍

SGLang 的混合模型前缀缓存与运行中的请求共用一个循环状态池。状态池满了,系统就得逐出缓存前缀。新请求如果用到这段上下文,就得重新预填充,这不仅浪费计算,还增加延迟。

在 40 个并发会话的测量点,原模型的前缀缓存命中率约为 55%,而 SEED 达到了 85%。较小的状态为活跃请求和可复用前缀腾出了大量空间,直接减少了重算次数。浅层预填充又进一步降低了未命中部分的计算量。这两者结合,形成了正向循环。

精度几乎无损

有人可能担心,这么大幅度的优化,模型会不会变笨?研究者在 Qwen3.8-Flash-Next、Nemotron-3.5-Lightning、Kimi-Linear 等五种模型、六个检查点上进行了测试。在 66 个“检查点 × 基准”组合中,63 个分数落在原模型两个标准误范围内或更高。这说明,SEED 在保持精度的同时,确实榨取了系统的性能潜力。

局限性与未来展望

当然,SEED 不是万能药。它目前不压缩注意力 KV Cache。在超长上下文场景中,如果 KV Cache 占据了主要显存,状态压缩对总显存的贡献就会变小。此外,论文中提到的 prompt code 前缀存储尚属后续方向,未计入本次的服务吞吐统计。

但从工程角度看,SEED 的价值在于它揭示了混合模型记忆结构的冗余性。它证明了:深层网络在生成时仍有作用,但为输入 token 写记忆未必需要同样的计算深度;完整状态矩阵仍定义着模型更新,但实现时可以存储并更新一组较小的因子。

随着 Qwen、Kimi、GLM 等主流开源模型纷纷采用混合架构,类似的推理优化将成为标配。SEED 的出现,或许只是开始。对于开发者而言,关注点正从“如何训练更大的模型”转向“如何更高效地运行现有的模型”。在这个阶段,每一兆字节的显存节省,每一次 FLOP 的优化,都直接关系到真金白银的成本。

目前,SEED 的相关代码、新增组件和训练数据已计划公开。对于正在构建高并发 LLM 服务的团队来说,这可能是一个值得深入集成的优化选项。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%

    Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。这个改动利用了一个区别:为后续生成写下记忆,所需的深层计

    来源 腾讯网
  2. 32GB内存跑180B模型:用Transformers实现MoE专家流式加载

    在只有32GB统一内存的Mac上运行1800亿参数的Qwen模型听起来像天方夜谭,但通过优化Transformers库的专家卸载机制,我们实现了接近专用引擎Strata的性能。本文详细拆解了如何利用SSD流式加载稀疏专家、构建有界缓存以及编写Metal内核,将推理速度提升至14 tokens/s,仅比最优方案慢6%。这

    来源 AI 应用前沿
  3. LlamaIndex发布OCRia-1.5,NVIDIA推Cosmos数据工厂

    本期速报关注文档解析与合成数据的新进展。LlamaIndex推出OCRia-1.5模型家族,提升复杂表格解析精度;Google DeepMind上线Genie 4,支持原生音频与实时编辑;NVIDIA发布Cosmos Data Factory蓝图,通过Prompt生成含稀有事件的训练数据。此外,Gemini应用适配低内

    来源 AI 应用前沿
  4. 谷歌工程师让打印机跑2.7亿参数模型:每词元约60秒

    IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下,成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约

    来源 腾讯网
  5. Gemini 4 Neon 上线,NVIDIA 并行生成打破逐字解码

    Google 推出 Gemini 4 Neon,主打推理与任务执行,已接入 App 和 Tasks。NVIDIA 发布 Nemotron-Sigma,尝试并行块生成以加速代码和数学解题。Hugging Face 分享了 27B 模型后训练效率优化及微调耗时超预期的技术原因。LMArena 数据显示 GPT-6.2 As

    来源 AI 应用前沿
  6. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  7. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  8. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  9. 英伟达停售H200:25%关税通道关闭,杰富瑞测算营收最多减620亿美元

    当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在财报电话会上确认,公司将停止向中国销售H200 AI芯片——这意味着由黄仁勋此前与特朗普政府协商达成的对华特殊供货安排正式告终。这也是黄仁勋辞职之后,英伟达召开的首次财报沟通会,对华先进芯片供给毫无悬念地成为市场焦点议题。

    来源 TechWeb
  10. 黄仁勋卸任英伟达CEO:评级下调、数据威胁与AMD做空风波

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电对英伟达超额订单提出预付现金要求,AI芯片板块的风险预期快速升温。勒索软件组织G

    来源 腾讯网
  11. 黄仁勋卸任后英伟达评级遭下调,AMD被做空机构质疑订单

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电

    来源 TechWeb
  12. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重投

    来源 腾讯网
  13. 英伟达克雷斯任临时CEO:AI芯片节奏未改,散热厂商同步看涨

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望及

    来源 腾讯网
  14. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  15. 英伟达H200、AMD MI325X对华许可明细公开:344万颗申请获批88万颗

    【TechWeb】11月20日消息,当地时间11月19日,美国众议院外交事务委员会公开了英伟达H200、AMD MI325X高端AI芯片对华出口许可明细,这份由委员会主席Brian Mast依据《出口管制改革法案》披露的文件,统计节点截至2026年5月11日,也是该法案生效以来透明度最高的一轮芯片许可披露。 文件显示,

    来源 AI 行业观察
  16. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  17. GPT-6.2 Astra登顶机器人榜单:OpenAI解散独立机器人团队

    GPT-6.2 Astra在真实机械臂测试中登顶,通用大模型直驱机器人的能力又进了一步。 据独立评测机构Artificial Analysis发布的AA-Robotics v0.1榜单,GPT-6.2 Astra得分79,完成8项物理任务中的6项。 不只是OpenAI的旗舰模型,能力相对较弱的GPT-6.2 Sol也得

    来源 AI 行业观察
  18. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  19. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  20. RadixArk发布DaisyRose-27B:18天强化学习,终端任务通过率翻倍

    RadixArk团队基于Qwen3.8-27B推出了DaisyRose-27B模型。通过自研的Miles框架和高质量数据筛选,团队仅用144张H200 GPU在18天内完成了训练。该模型在Terminal-Bench 4.1上的通过率从5.6%提升至12.0%,且训练成本比开源方案降低57%。文章详细介绍了其数据构建逻

    来源 AI 应用前沿
  21. 蓝耘Automodel:5模型塞进1个API,混合任务能靠路由解决吗?

    蓝耘推出 Automodel,将 Gemma3、Qwen3-VL、DeepSeek-V3.2 等五个主流模型整合为单一接口。本文通过逻辑推理、代码生成及混合任务三道测试题,验证其路由调度能力,并结合 Next.js 项目实战,分析其在生产环境中提升回答多样性的实际效果,探讨模型路由技术的实用价值。

    来源 AI 应用前沿
  22. 猎头已接触Arm CEO哈斯,英伟达换帅程序正式提速

    【TechWeb】11月19日,彭博社报道称,英伟达董事会聘请的猎头公司海德思哲(Heidrick & Struggles)已接触Arm首席执行官雷内·哈斯,将其列为接替黄仁勋的潜在人选。这是自11月12日黄仁勋辞去CEO、总裁及董事会成员职务以来,英伟达换帅程序中最具实质性的进展——在预测市场平台Polymarket

    来源 AI 行业观察
向下滚动自动加载更多