英伟达推全栈协同设计，HBM仅增3%吞吐量升30倍
NVIDIA 介绍其全栈协同设计方案，通过分层内存架构、NVFP4 量化、KV 缓存分层卸载等技术，在 HBM 容量仅小幅增长的前提下，将智能体推理的每美元吞吐量提升至最高 30 倍。
11 月 5 日，英伟达发布技术解读称，大模型参数规模、上下文长度和智能体应用都在快速膨胀，GPU 显存承受的压力前所未有；HBM 供应偏紧、价格走高，这一局面在可预见的未来还会延续。为破解 AI 内存瓶颈，英伟达尝试引入“全栈协同设计”思路，把 GPU、CPU、网络、存储和软件当成一个整体来设计，让 AI 工厂每一层里的每一字节内存都产出更高价值。
推理时，昂贵的 HBM 既要装模型权重，也得存 KV 缓存，后者记录的是模型理解当前请求所需的上下文。智能体工作流在多次模型调用、工具调用之间不断携带历史上下文，有些场景要处理多达 300 万个 token；检索增强生成（RAG）还会把企业资料塞进提示词，内存占用因此进一步抬高。
英伟达拿仓库和装卸口打比方：HBM 是仓库，内存带宽是装卸口。容量再大，数据进出速度跟不上，照样形成“内存墙”，新增的容量没法有效变成服务能力。所以它的方案重在把数据压缩后放到合适层级，并在需要之前提前送回 GPU。
落到操作层面，NVFP4 低精度格式能压缩模型权重和 KV 缓存；在 NVL72 系统里，模型权重可以分散到最多 72 颗 GPU 上；Vera CPU 的大容量 LPDDR 内存给暂停的上下文提供就近缓冲；Dynamo 推理软件把不活跃上下文迁到 CMX 上下文存储，复用前再取回。RAG 索引也能留在 CPU 与存储侧，不必长期占着 HBM。
英伟达引用 SemiAnalysis AgentX 基准称，在每用户每秒 125 token 的条件下，Vera Rubin NVL72 的每美元智能体吞吐量相较 GB300 NVL72 最高提升 30 倍，而每 GPU 的 HBM 容量只增加约 3%。GB300 NVL72 对比 H200 平台，在每用户每秒 100 token 条件下，每美元吞吐量最高提升 10 倍。这也说明，AI 算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效 token”。
