英伟达破局 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
IT之家 11 月 6 日消息，英伟达昨日（11 月 5 日）发布技术解读，指出随着大模型参数规模、上下文长度和智能体应用快速增长，GPU 显存正面临前所未有的压力，HBM 供应趋紧、价格上升，在可以预见的未来仍将持续。 为了破解当前 AI 内存瓶颈，英伟达探索引入了“全栈协同设计”理念，将 GPU、CPU、网络、存储
11月5日，英伟达发布技术解读。大模型参数规模、上下文长度和智能体应用都在快速增长，GPU显存因此承受着前所未有的压力；HBM供应趋紧、价格上升，按英伟达的判断，这一局面在可以预见的未来仍将持续。
为破解AI内存瓶颈，英伟达引入“全栈协同设计”理念，把GPU、CPU、网络、存储和软件当成一个整体来协同设计，目标是让每一字节内存在AI工厂的各层级都产生更高价值。推理环节里，昂贵的HBM既要装模型权重，也要存KV缓存——后者记录的是模型理解当前请求所需的上下文。智能体工作流在多次模型调用和工具调用之间持续携带历史上下文，有些场景要处理多达300万个token；检索增强生成（RAG）还会把企业资料塞进提示词，内存占用随之进一步推高。
英伟达打了个比方：HBM是仓库，内存带宽是装卸口。容量再大，数据进出速度跟不上，照样形成“内存墙”，新增容量也就没法有效转化成服务能力。其方案因此强调把数据压缩、放到合适的层级，并在需要之前提前送回GPU。
落到操作层面，NVFP4低精度格式负责压缩模型权重和KV缓存；NVL72系统中，模型权重可分散到最多72颗GPU上；Vera CPU的大容量LPDDR内存为暂停的上下文提供就近缓冲；Dynamo推理软件把不活跃上下文迁到CMX上下文存储，复用前再取回。RAG索引同样可以留在CPU与存储侧，不必长期占着HBM。
英伟达引用SemiAnalysis AgentX基准：每用户每秒125 token的条件下，Vera Rubin NVL72的每美元智能体吞吐量相较GB300 NVL72最高提升30倍，而每GPU的HBM容量只增加约3%。GB300 NVL72对比H200平台，在每用户每秒100 token条件下，每美元吞吐量最高提升10倍。按英伟达的说法，AI算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效token”。
