NVIDIA 全栈协同设计破解 AI 内存瓶颈
IT之家 11 月 6 日消息，英伟达昨日（11 月 5 日）发布技术解读，指出随着大模型参数规模、上下文长度和智能体应用快速增长，GPU 显存正面临前所未有的压力，HBM 供应趋紧、价格上升，在可以预见的未来仍将持续。为了破解当前 AI 内存瓶颈，英伟达探索引入了“全栈协同设计”理念，将 GPU、CPU、网络、存储和
英伟达11月5日发布一份技术解读。文中提到，大模型的参数规模、上下文长度以及智能体应用都在快速膨胀，GPU显存随之承受巨大压力；HBM供应偏紧、价格走高，这一局面在可预见的未来还会延续。
面对当前的AI内存瓶颈，英伟达尝试引入“全栈协同设计”的思路：把GPU、CPU、网络、存储和软件放在一起统筹设计，让AI工厂各层级上的每一字节内存都发挥出更高价值。相关图片如下：
推理阶段，价格不菲的HBM既要装模型权重，也得存KV缓存——后者记录的是模型理解当前请求所需的上下文。智能体工作流在多次模型调用、工具调用之间会一直带着历史上下文，有些场景要处理多达300万个token；检索增强生成（RAG）还会把企业资料塞进提示词，内存占用因此进一步抬升。
英伟达拿仓库比喻HBM，拿装卸口比喻内存带宽：容量再大，数据进出速度跟不上，照样会撞上“内存墙”，新加的容量也就没法有效变成服务能力。其方案因此着重把数据压缩后放到合适的层级，并在需要之前提前送回GPU。
落到操作层面，NVFP4低精度格式能压缩模型权重和KV缓存；在NVL72系统里，模型权重可以分散到最多72颗GPU上；Vera CPU的大容量LPDDR内存则为暂停的上下文提供就近缓冲；Dynamo推理软件会把不活跃的上下文迁到CMX上下文存储，等复用前再取回。RAG索引同样能留在CPU与存储侧，不必长期占着HBM。
英伟达引用SemiAnalysis AgentX基准的数据：在每用户每秒125 token的条件下，Vera Rubin NVL72的每美元智能体吞吐量比GB300 NVL72最高提升30倍，而每GPU的HBM容量只增加约3%。
GB300 NVL72在每用户每秒100 token的条件下，每美元吞吐量较H200平台最高提升10倍。AI算力竞争的焦点，正从“显存有多少”转向“每字节、每瓦特能产出多少有效token”。
