英伟达详解AI内存全栈协同设计：HBM容量仅增3%，Agent吞吐量/美元最高提升30倍

美东时间11月5日周四，英伟达在官方博客发文，系统介绍了其在AI内存上的全栈协同设计思路。文章提到，大模型参数规模、上下文长度以及智能体（Agent）应用都在持续扩张，AI基础设施面临的内存压力随之加大，只靠堆GPU内存容量已经解决不了问题。

按照英伟达的说法，把GPU、CPU、网络、存储和软件放在一起协同设计，再配合模型权重量化、KV Cache压缩与分层存储、检索数据优化等手段，整个AI基础设施的内存利用效率可以提上来。公司披露的数据是：从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量只增加约3%，但在特定Agent工作负载下，每美元可实现的吞吐量最高提升30倍。

这套思路的关键，是把AI工厂的内存和存储看成一个整体的数据层级，而不是一味把更多数据塞进速度最快、成本最高的GPU内存，从而以更低的单位成本处理更多AI任务。

大模型和Agent推高内存压力，单纯增加HBM容量不够

英伟达指出，大模型参数规模不断扩大，上下文窗口越来越长，Agent又需要在多轮推理和工具调用之间持续保留历史信息，GPU高带宽内存（HBM）因此承受着更大压力。

推理过程中的内存消耗大户之一是KV Cache（键值缓存）。它保存的是模型处理请求时已经计算过的上下文信息，这样模型后续生成内容时就不用重复处理同样的信息。对Agent来说，一次任务可能涉及多轮模型推理、工具调用和结果返回，历史上下文不断累积，KV Cache也跟着扩大。英伟达称，部分Agent任务轨迹涉及的处理上下文规模已经达到300万Token。

另外，检索增强生成（RAG）技术要把企业文档转成向量表示，并在模型推理时检索相关内容，需要处理和保留的数据量也会因此增加。

英伟达强调，推理过程中模型权重和KV Cache都要占用HBM，而HBM恰恰是AI工厂里速度最快、成本最高、供应也最受限制的内存层级。

光增加HBM容量并不能解决所有问题。英伟达打了个比方：HBM像仓库，内存带宽像仓库的装卸码头。仓库再大能装更多货，可装卸速度跟不上，仓储空间加得再多也提不高实际吞吐量。

在AI推理中，更多HBM确实能容纳更多用户的模型工作负载和KV Cache，但所有用户仍然要共享GPU计算资源和内存带宽。一旦计算能力或带宽成了瓶颈，多出来的内存容量就可能用不上，成本和功耗反倒上去了。

所以英伟达认为，真正重要的不是单纯把内存容量做大，而是让不同类型的数据进入最合适的存储层级，需要时及时调回GPU，把整个系统的利用效率提起来。

NVFP4压缩模型权重，NVLink将权重分布至72颗GPU

模型权重占用大量HBM，英伟达的应对办法是用NVFP4低精度格式压缩模型权重，再通过NVLink实现跨GPU分布式存储。

具体来说，NVFP4能把模型权重压缩到4位精度，相比FP8进一步节省存储空间。英伟达称，越来越多的模型开发商开始用NVFP4格式发布模型权重，包括Black Forest Labs、Thinking Machines Lab、Reflection、Meta等机构和公司的部分模型。

硬件层面，英伟达用NVLink搭建了NVL72机架级GPU互联系统，模型权重可以分布在最多72颗GPU之间，单颗GPU只需存模型的一部分，更多HBM空间因此被释放出来，用于容纳KV Cache、服务更多并发用户。

这意味着，英伟达想靠低精度量化和机架级互联一起解决模型权重占内存的问题，而不是只依赖单颗GPU不断加大HBM容量。

KV Cache压缩与分层卸载，Vera CPU和Dynamo协同管理内存

比起模型权重，KV Cache带来的挑战更动态。Agent持续推理、调用工具、等待外部结果的过程中，部分上下文需要保留，但并非所有信息都得一直占着速度最快的GPU内存。

对此，英伟达从压缩、暂存和分层卸载三个方面优化KV Cache。

首先，NVFP4同样能用来压缩KV Cache，相比FP8减少其内存占用，让更多上下文留在GPU的HBM里。

其次，Vera CPU负责加速工具调用，缩短Agent等待外部工具执行结果时KV Cache闲置的时间。同时，Vera CPU配有大容量LPDDR内存，并通过NVLink-C2C与Rubin GPU连接，能为暂时不活跃的上下文提供离GPU较近的存储空间，需要时再快速调回。

第三，英伟达Dynamo推理软件可以把暂时不活跃的KV Cache从GPU内存卸载到CMX上下文内存存储平台。CMX是面向大容量、低成本数据存储设计的层级，每比特存储成本远低于HBM，并能在上下文再次被调用前把数据调回。

CMX 支持多台服务器共用，这一点和本地 SSD 不同；短生命周期的上下文不需要长期数据保护，也就不用背这部分额外开销，传统企业存储做不到。

英伟达还通过Dynamo的KV Cache Reuse功能，把GPU内存、CPU内存和存储中的KV Cache作为系统级资源统一管理，已经计算过的上下文能在整个系统内复用，减少重复计算。

NeMo Retriever 与 cuVS 优化 RAG：企业知识库不再挤占 HBM

模型权重和 KV Cache 之外，检索增强生成（RAG）带来的内存压力，英伟达也给出了对应的优化办法。

做 RAG 时，企业文档要先转成向量嵌入（Embedding），再建起可检索的向量索引，模型才能根据用户提问，从庞大的知识库里挑出相关信息。这些向量数据要是全塞进 GPU 的 HBM，本来留给模型推理的内存就更紧张了。

英伟达的思路是用 NeMo Retriever 和 cuVS 分别处理向量数据和索引的存放问题。

具体说，NeMo Retriever 模型生成的向量嵌入更小，检索准确性还更高，需要存储和传输的数据量随之下降；cuVS 则能在 CPU 内存和存储层级上构建并运行大型向量索引，整个企业知识库因此不必占用 GPU 的 HBM。

真正被检索出来、模型需要处理的相关文本片段，才会进入模型上下文。

英伟达希望借此压低模型权重、闲置上下文和 RAG 数据对 HBM 的占用，把更多 GPU 内存留给实际推理任务和并发用户。

HBM 容量仅增约 3%，Agent 吞吐量/美元最高提升 30 倍

英伟达公布的性能数据，是这篇全栈协同设计文章里最值得关注的部分。

公司引用 SemiAnalysis AgentX 基准测试中的 DeepSeek V4 Pro 工作负载，对比不同代际 AI 计算平台的吞吐量与成本效率。

在每位用户每秒 100 个 Token 的服务速度下，英伟达 GB300 NVL72 相比 H200 平台，每美元可实现的吞吐量最高提升 10 倍，同时单颗 GPU 的 HBM 容量大约翻倍。

到了每位用户每秒 125 个 Token 的服务速度，Vera Rubin NVL72 相比 GB300 NVL72，每美元可实现的吞吐量最高提升 30 倍，而单颗 GPU 的 HBM 容量只增加约 3%。

也就是说，在英伟达强调的特定 Agent 推理场景中，性能和成本效率的提升，远超单纯把内存容量做大所能带来的收益。压缩模型权重和 KV Cache、把闲置上下文卸载到成本更低的存储层级、优化 GPU、CPU 与网络之间的数据调度，这几步下来，规模相近的内存资源能产出更多有效计算。

英伟达强调，对 AI 工厂运营商来说，真正重要的指标不是手上有多少 GPU、多少 HBM，而是在满足用户响应速度要求的前提下，既定电力预算内能交付多少有用 Token。每瓦产生的 Token 越多，同样的电力就能完成更多工作、带来更多收入，每个 Token 的成本也随之降低。

英伟达股价周四盘中跌超 9%，市值较历史高点蒸发近 1.4 万亿美元

英伟达发布上述技术文章的当天，其股价正遭到猛烈抛售。

11月5日周四美东时间，科技股全线下挫，英伟达（NVDA）被拖累，盘中跌幅一度超过 9%，年内累计涨幅全部回吐，转而变成年内下跌。有媒体报道称，其市值距 10月的历史最高点已缩水近 1.4 万亿美元。

《华尔街日报》报道称，周四芯片股遭遇集中抛售，这家 AI 热潮的代表性公司股价年内表现转负，英伟达当天一度下跌约 8%，市值较 10月6日高点减少超过 1 万亿美元。

抛售之外，市场在重新掂量几件事：AI 基础设施投入要多久才能见到回报、数据中心建设推进到什么程度、以及 AI 产业链公司该怎么估值。英伟达这次主推的全栈协同设计，落点就在系统效率与单位 Token 成本，想借此回应 AI 基础设施不断扩张时遇到的资源与成本压力。