英伟达AI内存策略：HBM容量仅增3%，Agent吞吐量每美元最高涨30倍

美东时间11月5日周四，英伟达在公司博客发文，系统介绍了其AI内存全栈协同设计思路。文章提到，大模型参数规模、上下文长度以及智能体（Agent）应用都在持续扩张，AI基础设施承受的内存压力随之加重，只靠给GPU加内存已经解决不了问题。

英伟达给出的办法是把GPU、CPU、网络、存储和软件放在一起协同设计，再配合模型权重量化、KV Cache压缩与分层存储、检索数据优化等手段，提升整个AI基础设施的内存利用效率。公司披露的数据是：从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量只增加约3%，而在特定Agent工作负载下，每美元可实现的吞吐量最高能提升30倍。

这套思路的关键在于，把AI工厂的内存和存储看成一个整体的数据层级，不再一味把更多数据塞进速度最快、成本最高的GPU内存，目的是用更低的单位成本处理更多AI任务。

不过，就在这篇技术文章发布的当天，英伟达股票遭到猛烈抛售。周四盘中股价一度跌超9%，把今年内的累计涨幅全部抹平并转为下跌，市值较10月创下的最高纪录蒸发近1.4万亿美元。

抛售背后，市场正在重新审视AI基础设施投资的回报周期、数据中心建设进度以及AI产业链企业的估值。AI产业的重心，正从追逐算力扩张转向关注投资效率。

大模型和Agent推高内存压力，单纯增加HBM容量不够

英伟达指出，大模型参数规模不断扩大，上下文窗口越来越长，Agent又需要在多轮推理和工具调用之间持续保留历史信息，GPU高带宽内存（HBM）因此承受更大压力。

推理过程中，KV Cache（键值缓存）是重要的内存消耗来源。它保存模型处理请求时已经计算过的上下文信息，让模型在后续生成内容时不必重复处理相同信息。对Agent来说，一次任务可能涉及多轮模型推理、工具调用和结果返回，历史上下文不断累积，KV Cache也随之扩大。英伟达称，部分Agent任务轨迹涉及的处理上下文规模已经达到300万Token。

另外，检索增强生成（RAG）技术要把企业文档转换为向量表示，并在模型推理时检索相关内容，这同样会增加需要处理和保留的数据量。

英伟达指出，AI 工厂里速度最快、成本最高、供给也最紧张的内存层级正是 HBM，而模型权重与 KV Cache 在推理时都要落在它上面。

只增加HBM容量并不能解决所有问题。英伟达把HBM比作仓库，把内存带宽比作仓库的装卸码头：仓库更大能装更多货，但装卸速度跟不上，增加仓储空间也提不高实际吞吐量。

在AI推理中，更多HBM确实能容纳更多用户的模型工作负载和KV Cache，但所有用户仍然要共享GPU计算资源和内存带宽。一旦计算能力或带宽成为瓶颈，额外增加的内存容量就可能用不上，反而推高成本和功耗。

所以英伟达认为，真正重要的不是单纯增加内存容量，而是让不同类型的数据进入最合适的存储层级，在需要时及时调回GPU，从而提高整个系统的利用效率。

NVFP4压缩模型权重，NVLink将权重分布至72颗GPU

模型权重占用大量HBM，英伟达对此提出用NVFP4低精度格式压缩模型权重，并通过NVLink实现跨GPU分布式存储。

具体来说，NVFP4能把模型权重压缩至4位精度，相比FP8进一步减少存储空间。英伟达称，越来越多模型开发商开始采用NVFP4格式发布模型权重，包括Black Forest Labs、Thinking Machines Lab、Reflection、Meta等机构和公司的部分模型。

硬件层面，英伟达用NVLink构建NVL72机架级GPU互联系统，模型权重可以分布在最多72颗GPU之间，单颗GPU只需存储模型的一部分，从而释放更多HBM空间，用来容纳KV Cache和服务更多并发用户。

这意味着，英伟达想靠低精度量化和机架级互联一起解决模型权重占用内存的问题，而不是只依赖单颗GPU不断增加HBM容量。

KV Cache压缩与分层卸载，Vera CPU和Dynamo协同管理内存

相比模型权重，KV Cache带来的挑战更加动态。Agent持续推理、调用工具、等待外部结果的过程中，部分上下文需要保留，但并非所有信息都要始终占用速度最快的GPU内存。

对此，英伟达提出从压缩、暂存和分层卸载三个方面优化KV Cache。

首先，NVFP4同样可以用来压缩KV Cache，相比FP8减少其内存占用，让更多上下文能够留在GPU的HBM中。

其次，Vera CPU负责加速工具调用，缩短Agent等待外部工具执行结果时KV Cache处于闲置状态的时间。同时，Vera CPU配备大容量LPDDR内存，并通过NVLink-C2C与Rubin GPU连接，可以为暂时不活跃的上下文提供距离GPU较近的存储空间，需要时再快速调回。

第三点，借助英伟达 Dynamo 推理软件，暂时用不上的 KV Cache 能从 GPU 内存转到 CMX 上下文内存存储平台；CMX 这一层级专为大容量、低成本存储而设计，每比特的存储开销比 HBM 低得多，等上下文再次被调用时还能把数据取回来。

与本地SSD不同，CMX支持跨服务器共享；它跟传统企业存储也不一样——这些短生命周期的上下文用不着背上长期数据保护那份额外开销。

另外，英伟达借Dynamo的KV Cache Reuse功能，把GPU内存、CPU内存和存储里的KV Cache当成一套系统级资源来统管，算过的上下文因此能在整个系统内复用，重复计算随之减少。

NeMo Retriever和cuVS优化RAG，企业知识库不再占用HBM

模型权重和KV Cache之外，检索增强生成（RAG）带来的内存压力，英伟达也给出了优化方案。

RAG先要把企业文档转成向量嵌入（Embedding），再建起可检索的向量索引，模型才能按用户问题从庞大知识库中提取相关信息。这批向量数据要是全塞进GPU的HBM，模型推理本就不宽裕的内存会被进一步挤占。

英伟达的办法是让NeMo Retriever和cuVS各管一摊，分别优化向量数据及索引的存储。

NeMo Retriever模型能生成更小的向量嵌入，检索准确性还同时提高，需要存储和传输的数据量随之减少；cuVS则可以在CPU内存和存储层级构建、运行大型向量索引，整个企业知识库不必再占用GPU的HBM。

真正被检索出来、模型需要处理的相关文本片段，才会进入模型上下文。

英伟达希望靠这一方式压低模型权重、闲置上下文和RAG数据对HBM的占用，把更多GPU内存留给实际推理任务和并发用户。

从扩充内存转向提升单位资源产出，Vera Rubin效率最高提升30倍

此次全栈协同设计文章里，英伟达公布的性能数据最值得关注。

公司援引SemiAnalysis AgentX基准测试中的DeepSeek V4 Pro工作负载，对不同代际AI计算平台的吞吐量与成本效率做了比较。

具体来看，在每位用户每秒100个Token的服务速度下，英伟达GB300 NVL72相较H200平台，每美元可实现的吞吐量最高提升10倍，同时单颗GPU的HBM容量大约翻倍。

在每位用户每秒125个Token的服务速度下，Vera Rubin NVL72相较GB300 NVL72，每美元可实现的吞吐量最高提升30倍，而单颗GPU的HBM容量仅增加约3%。

换句话说，英伟达所看重的那些 Agent 推理场景里，光靠把内存容量堆大，拿不到这样的收益——性能与成本效率的改善要明显得多。做法是把模型权重和 KV Cache 压小，把用不上的上下文挪到更便宜的存储层，再把 GPU、CPU 与网络之间的数据搬运调顺；这么一来，差不多大小的内存就能换来更多有效的计算产出。

英伟达的说法是，AI 工厂运营方该盯的不是手上有多少 GPU、多少 HBM，而是在用户要求的响应速度之内、在给定的电力预算之下，究竟能交出多少有用的 Token。每瓦产出更多 Token，同样的电就能干更多活、多挣钱，单个 Token 的成本也会跟着降下来。