Fractile CEO Goodwin：AI推理卡在内存带宽，25年差距2.5万倍
当整个AI芯片行业都在追逐更高的算力、更大的GPU集群时，一家英国AI芯片初创公司却提出了一个不同的判断：制约大模型推理效率的，可能早已不是芯片的计算能力，而是内存带宽。 近日，AI芯片公....
眼下做AI芯片的都在拼算力、堆GPU集群，英国一家叫Fractile的初创公司却给出另一种看法：拖住大模型推理效率的，恐怕早就不是芯片算多快，而是内存能搬多少数据。
在20VC播客的采访里，Fractile创始人兼CEO Walter Goodwin聊了自己对AI芯片走向的判断。他说，过去25年，芯片算力和内存带宽两条线已经严重脱节，这种脱节正卡在大模型推理的咽喉上。
他给出的数字挺吓人：25年间AI芯片浮点算力涨了约100万倍，内存带宽只涨了约40倍。按他的算法，两者的落差已经到了约2.5万倍。
这组悬殊的对比，正是Fractile选择另起炉灶做新型AI芯片架构的起点。
算力涨100万倍，带宽只涨40倍
内存带宽为什么会成为AI推理的瓶颈？
Goodwin打了个比方：DRAM是仓库，处理器是办公室。办公室得一趟趟从仓库取数据来算，可仓库和办公室之间的通道就那么宽。办公室里人再多，数据运不过来还是白搭。
眼下AI芯片碰上的就是这档子事。
大模型越做越大，推理时要反复读取模型权重和上下文数据。GPU算得再快，数据没能及时从内存送到，计算单元也只能干等。
Goodwin举了个例子：一个大型前沿模型生成内容的速度可能只有每秒80个Token，问题未必出在芯片算力不够，而是内存带宽撑不起这么大规模的数据访问。
现在业界主要靠两种存储方案来应对。
其一是DRAM，也包括HBM。容量大、单位比特成本低是它的长处，但内存和逻辑芯片是分开的，数据传输受物理连接和带宽掣肘。
还有一类是SRAM。它能直接做进逻辑芯片里面，读写速度极快，缺点是容量做不大，摊到单位面积上的成本也偏高。
也就是说，不管选哪种方案，容量、速度、成本这三样总得有所取舍，现有架构一直困在这个三角里。Fractile想做的，就是跳出这个取舍。
这家公司的思路很直接：把DRAM直接堆到逻辑芯片上面。
按其技术路线，DRAM与逻辑芯片采用堆叠方式结合，目标是既拿到接近SRAM的访问速度，又拿到DRAM级别的存储容量。
Goodwin的说法是，处理器和DRAM之间现在主要靠数量有限的铜线传数据，想再多加连接，物理空间就不够用了。
把DRAM叠到逻辑芯片上就不一样了。连接可以走垂直方向，原来挤在芯片边缘的连线，变成大量垂直互连。
他给出的数字是：横向连接原本只有几千条，改成垂直连接后能扩展到数百万条，内存带宽随之大幅提升。
Goodwin强调，这不是从头发明一项新技术。3D集成技术已经存在多年，Fractile做的是把它用到AI推理遇到的内存带宽难题上。
不过，这些目前还只是Fractile自己提出的技术路线和性能目标。真实优势有多大，得等后续产品做出来、量产跑通才能见分晓。
内存架构之外，Goodwin对AI数据中心眼下越来越常见的异构计算模式也提出了疑问。
AI推理的硬件分工正变得越来越细。比如，
具体来看，Prefill阶段和共享模型权重的处理可以交给一类芯片；涉及用户各自独立上下文的Attention计算，则由另一类芯片负责。
这样分工的道理在于，模型权重能被多个用户共用，所以可以用昂贵的高带宽内存；用户上下文却人人不同，需要更大的存储容量，成本结构也不一样。Goodwin认为，这种做法固然能针对不同任务优化硬件资源，却也会引出新麻烦。
数据中心一旦按固定比例部署了不同类型的芯片，日后模型规模或上下文长度一变，部分计算资源就可能用不满。换句话说，尴尬局面可能出现：一些芯片资源已经吃紧，另一些却闲着。
他还判断，异构架构连同其背后的调度软件，或许只是眼下缺少一颗能兼顾各类推理任务的芯片时的过渡方案。单芯片能力往上走，这套复杂的调度和编排层，价值可能会慢慢缩水。
对完全靠SRAM做快速推理的芯片，他也留有余地。Goodwin以
Groq和Cerebras为例说，SRAM访问速度确实快，但容量不够、成本偏高，长上下文任务上限制明显。需要长时间运行的智能体应用，这类架构未必合适。
绕开Broadcom，Fractile选择自己做芯片
Fractile在定制AI芯片上另走了一条路：物理设计和晶圆厂合作尽量攥在自己手里。
Goodwin提到，眼下不少定制AI芯片项目被认为找了Broadcom做后端设计伙伴，谷歌TPU、Meta MTIA、OpenAI Jalapeño，以及Etched和MatX等都在其中。
他的判断是，这些项目在一定程度上共用相似的制造平台，台积电工艺节点、HBM模块以及部分平台技术都包括在内。
他还说，Broadcom高管Charlie Kawwas曾在一次会议上拿出下一代平台的乐高模型，称该平台2028年将服务六家大型客户。Goodwin认为，这意味着不同客户用的可能是搭在同一底层平台上的定制芯片。
和它不同，Fractile想自己把芯片物理设计和供应链资源抓在手里，好做出有差异的技术模块，DRAM堆叠架构是其中的核心。
Goodwin说，晶圆厂那边已经把芯片样品交回来了，公司正在做进一步试验，正式产品流片预计几个月内就能完成。
但他也提醒，流片不等于产品就成了。良率、冗余设计、故障修复、可制造性，还有在完整服务器机架上跑实际工作负载，这些后面都得解决。
Fractile押注内存带宽，这条路也拿到了资本的支持。Goodwin在采访中透露，公司完成了7.2亿美元C轮融资，估值达到70亿美元，Thrive、Founders Fund、Lightspeed和Radpoint等参与了本轮。
这笔钱主要不是拿去付芯片本身的固定研发成本，而是用来铺开供应链，包括提前锁定长期供应协议、推进多代芯片研发、加强内部机器学习研究，以及扩充系统和网络团队。
公司近期还从Meta引入了Dan Rabinovich，由他负责系统业务建设，团队分布在美国和中国台湾地区。
Goodwin判断，未来AI基础设施的价值分配会变。比起单纯做算力租赁的新型云服务商，他更看好专业推理服务商。
在他看来，推理服务市场不会长期是一大堆玩家挤在一起竞争，最后可能只剩下几家规模达到数千亿美元的企业。
他还预测，英伟达未来五年市值可能达到10万亿美元。
写在最后
Goodwin这番话，其实点出了AI芯片行业一个愈发明显的变化：光拼算力已经不够看了，数据能不能更快、更高效地送进计算单元，正变得同等关键。
从HBM到先进封装，再到把DRAM与逻辑芯片做3D堆叠，整条产业链的新一轮较量，都围绕着存储和计算之间的距离、带宽与容量打转。只是Fractile这条技术路线能不能兑现它宣称的性能，还得看产品流片、良率以及系统级验证的结果。特别是让DRAM直接堆在逻辑芯片上，带宽、容量、制造成本和规模化量产怎么兼顾，工程上的难题还有一堆要解。
但有个趋势已经摆得越来越明白：AI芯片的比拼，正从单纯比TOPS和GPU数量，转为计算、存储、互连与系统架构的综合对垒。下一轮创新，未必只发生在计算核心内部。
