英伟达失去黄仁勋：内存定义权之争与3D DRAM新路线

过去很长一段时间里，AI基础设施供应链上说话最有分量的，不是英伟达这类计算芯片巨头，而是SK海力士等内存厂商，议价权一度向后者倾斜。

黄仁勋并不愿意把内存这个关键环节的定义权拱手让给供应商。在他主导下，英伟达已经握住了计算芯片和高速互连网络；面对HBM供不应求、内存厂商议价能力不断走高的局面，他一直在尝试重新划定内存技术演进的方向，免得英伟达从AI基础设施的主导者沦为被内存供应商牵着走的客户。

如今黄仁勋离开，英伟达还能不能抓住这个机会？

从去年到现在，HBM成了AI算力扩张中最重要的产品之一。EpochAI最新估算显示，GB300每芯片推理服务容量（inference capacity）约为H100的25倍，而在FP8精度下算术吞吐量其实只提升了2.5倍。更大的收益来自并发数量和输出速度等方面，这也说明了HBM为何如此关键。

对内存厂商来说，这是摆脱传统周期的绝佳窗口。在它们的HBM路线图上，继续提高DRAM堆叠层数是重要的演进方向之一。KAIST金正浩教授团队发布的路线图显示，HBM4将支持12层和16层堆叠。

堆叠层数往上走，DRAM裸片却无法转化为合格产品。这会进一步推高HBM单位有效产出的成本，并引发DRAM供给危机。内存厂商若足够强势，还能把成本转嫁给AI芯片厂商乃至更下游。

可现实是，HBM正在变矮。几个月前，Rubin Ultra的HBM配置从12层设计转向了8层堆叠。

分析机构SemiAnalysis认为，就推理的经济性而言，HBM带宽往往比容量更重要。推理与强化学习在算力需求中的占比持续上升，模型权重被反复读取、KV缓存被频繁访问，内存带宽正成为更稀缺的资源。放到整个AI基础设施来看，HBM配置不必一味追求单颗加速器的最大容量，只要系统总容量能装下模型权重和KV缓存就够了。

这也是去年至今英伟达反复调整HBM接口规格的原因：它要求内存厂商提高单个I/O引脚的数据传输速率，大幅高于JEDEC发布的HBM4标准。传统模式下，JEDEC制定HBM标准，SK海力士、三星、美光负责研发生产，英伟达等芯片厂商按标准集成HBM。

同时，英伟达推出NVHBM定制方案，想减少GPU计算裸片上内存接口电路的占用，为更窄、传输速率更高的定制接口腾出空间。相比HBM4e，NVHBM带宽最高可提升30%。

降低堆叠层数能减少单颗加速器消耗的DRAM裸片，这样就有可能在不增加DRAM晶圆投入的前提下生产更多HBM堆栈，让更多AI芯片拿到HBM供应，进而抬高整个AI产业的算力交付规模。

从长期看，如果推理时代对内存的需求从单纯追求容量转向带宽、容量与成本之间的综合平衡，那么AI基础设施对内存的需求，就可能不再只靠HBM这一种技术路线来满足。

这周，黄仁勋离职消息震动了市场；而在此之前，另一则消息同样值得关注：英伟达要求长期专注逻辑芯片代工的台积电一起研究3D DRAM解决方案。市场把这与10月初英伟达计划投资d-Matrix的传言联系了起来。

今年，有行业风向标之称的Hot Chips上，d-Matrix提出了自己的3D DRAM方案，正面挑战HBM的推理带宽路径。严格来说，它并不是在DRAM内部实现存储单元的晶体管级三维化，而是把传统平面DRAM裸片与计算逻辑裸片垂直集成。

它的意义在于，把数据连接的扩展维度从芯片边缘的“边长”拓展到芯片表面的“面积”，从而在不依赖继续提高单条数据线传输速率的情况下大幅提升内存带宽。这也是d-Matrix敢说这种设计能带来100TB/s带宽的原因。这意味着，继网络之后，黄仁勋不再满足于把内存当作GPU旁边的独立产品。

不过DRAM-on-Logic也有自己的局限。d-Matrix目前公布的方案，单卡DRAM容量只有32GB，远低于HBM4方案的192GB。带宽问题解决了，大容量存储问题却没有解决。要进一步提高这种架构的容量，就得从DRAM本身找答案，其中一条重要路径是让DRAM存储单元本身实现晶体管级的三维化。

HBM相对传统DDR内存的一大优势，是能把多层DRAM裸片垂直堆叠，在有限的封装面积内大幅增加内存容量。狭义的3D DRAM则试图更进一步，在单颗DRAM裸片内部把存储单元本身垂直构建成多个层级，从而提高单位晶圆面积能容纳的存储单元数量。在全球DRAM巨头的技术路线图中，这项技术仍需至少五年的迭代才能成熟。

但这不意味着DRAM-on-Logic要等上五年。d-Matrix计划在2027年下半年初步交付的Raptor，已经能通过把现有DRAM裸片与计算逻辑垂直集成，率先改变传统内存架构。等真正的3D DRAM成熟，新的存储技术又有望接入这套集成架构，替代现有的平面DRAM裸片。

到那时，即使3D DRAM取得技术突破，只要它仍只是被集成进英伟达系统架构的标准化内存产品，决定系统性能、产品定价和利润分配的权力就依然在英伟达手里。黄仁勋构想中的英伟达内存体系，应该囊括了d-Matrix的设计和台积电的代工。

3D路线也可能面临容量不足。面对推理时代不断膨胀的上下文需求，内存厂商提出HBF，想用更大容量补充HBM；黄仁勋坚持的则是英伟达自己的CMX（上下文存储平台），通过BlueField-4构建一个可共享、可复用的上下文存储层。不过在今年的学术讨论会直播中，金教授认为，英伟达最终接受HBF只是时间问题。

英伟达一直想把内存纳入自己定义的AI基础设施架构。没有这种持续的战略推动，内存厂商或许已经在这轮AI基础设施扩张中拿到更大的话语权。黄仁勋的长期布局若能顺利落地，英伟达就有可能把原本握在内存厂商手里的部分技术定义权和利润空间，重新收回自己的系统架构之中。

不过，要跨过这么多产业环节，投入数年时间，还要重新切分供应链上的利润，并不轻松。SemiAnalysis创始人Dylan Patel认为，黄仁勋对英伟达的意义，正在于他能以“创始人模式”压住供应链的主导权，并迅速调整技术战略。

一旦黄仁勋离开，英伟达推进这些路线的能力可能随之改变；它能不能补上AI基础设施内存架构的最后一块拼图，也就重新成了悬念。