谷歌整柜TPU开卖:第八代四款齐发,推理每美元性能超GB200五成
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年....
英伟达最近要操心的事,可不止老黄那一桩。
就在本周,谷歌亮出两款新TPU芯片,一款主打机密推理,一款面向长上下文。加上上半年推出的两款,第八代TPU如今已有四种配置。
一年之内连发四款TPU系统,这在谷歌历史上还是头一回。而谷歌对TPU的盘算,恐怕比外界猜的还要大——同样是在今年,它头一次把TPU系统卖到了外部。
据量子位从谷歌内部人士处了解,谷歌内部底气很足,称“明年TPU市场份额会快速上升”,到那时候“会有更多大型企业大规模使用TPU”。
性能上他们同样有信心。至少在谷歌高层人士眼中,“
(苏妈:咩啊?.jpg)
△图片由AI生成
“像英伟达一样”,对外销售TPU系统
今年谷歌干了一件违背祖宗的事——第一次向外部客户出售整套TPU系统。
量子位从接近谷歌的人士那里得知,拍板这项决策的是一位入职不到三年的高管。内部争论很激烈,他仍坚持改动TPU的商业打法,最终促使管理层定下决心,“像英伟达一样”把TPU卖给外部客户。
△图片由AI生成
最早在2013年,TPU不过是谷歌为压低自家AI业务算力成本而自研的专用加速芯片;直到2018年,Google Cloud才对外开放TPU算力租赁。租赁意味着TPU相关的硬件基础设施全由谷歌自己管理和运营。
到了今年Q1财报会,情况变了。CEO劈柴哥说,谷歌看到AI实验室、资本市场公司以及高性能计算应用领域对TPU的“强劲需求”,于是宣布面向部分精选客户,支持把TPU部署进客户自己的数据中心。
内部把这轮外售看成一次“以售养研”的结构性置换:拿外部订单分摊数据中心的天量资本开支,再靠规模化需求把自研硬件的成本曲线压下来。
从Q2起,谷歌开始向客户交付完整TPU系统。这套系统涵盖计算、存储、网络硬件和软件等一整套能力,训练和推理相关服务也一并提供。
△图片由AI生成
这套商业模式,收入潜力已经露头。
Google Cloud今年一路加速。Q1同比增长63%,Q2增长82%;到Q3,收入307亿美元,同比增长103%,经营利润从35.94亿美元升到111.21亿美元。
小声说一句,Google Cloud大概是Q3财报里唯一不让人皱眉的部分。谷歌母公司Alphabet也明确表态,TPU系统销售是第三季度Google Cloud增长的重要贡献因素之一。
最新10-Q里,Alphabet已把“产品销售,主要为TPU系统”写进Google Cloud收入。管理层预计,TPU系统销售在Q4还会继续扩大。
不过,TPU系统销售合同收入的大头要等到2027年才进报表,眼下还没落到财报上。这个趋势恐怕很难逆转。
为什么今年才这么做?
说到底,谷歌对外卖TPU,是自然演化和外部条件一起推出来的必然选择。Q2财报会上,劈柴哥说谷歌内部对前沿AGI的算力需求仍是一条不可逾越的红线;可这两年高端GPU一直紧缺,求购英伟达无门的客户只能另找办法。谷歌想抓住这个窗口。
2025年发布的第七代TPU Ironwood,已经专门为推理做了设计。到今年的第八代,谷歌又把训练、实时推理、机密计算和超长上下文拆成不同的系统配置。
谷歌芯片业务负责人Amin Vahdat对外放风说“未来属于专业化”。这话的意图,是用专业化芯片路线去撬英伟达“一颗通用芯片包打天下”的叙事根基。
△图片由AI生成
另一边,谷歌正抡起小锤一锤四十、一锤八十地疯狂补课TPU软件生态。英伟达这些年最大的优势之一就是CUDA生态:它早早把AI开发者的工具箱配齐,大量软件都围绕CUDA做过适配和优化。
作为主流AI框架,PyTorch对CUDA的支持最成熟。业界主流路径就是用PyTorch搭模型,经由CUDA调用英伟达GPU,由此筑起难以替代的生态壁垒。
可很长一段时间里,谷歌TPU深度绑定TensorFlow、JAX,软硬件栈和GPU差异大,迁移门槛很高。
2025年年中,谷歌终于拉上Meta的PyTorch团队一起开发TorchTPU,目标就是少量改代码就能在TPU上跑PyTorch模型。上个月底,这项合作成果正式开源。
会带来什么效果,相信不用我在这里废话了。
△图片由AI生成
性能和成本方面,11月5日SemiAnalysis公布了一组新的Agent推理测试结果。在Muse Spark等模型上,谷歌第七代TPU Ironwood已能在部分测试中做到比英伟达GPU更高的每美元token产出。
此前,英伟达只在少数场景输给
SemiAnalysis透露,谷歌提交的AgentX测试结果说明,TPUv7在每美元性能这一项上压过了GB300 NVL72 FP4。消息一出,英伟达很快拉出一支工程师队伍应战,这群人和Agent连轴转,周末也不歇,一直干到当地时间凌晨2点。
四轮优化做完,在某个模型的测试里,GB300的每美元Token产出好歹翻了回来,反超TPU 1.5-2.6倍。
一边是AMD在GPU阵营里追得紧,另一边是谷歌想从架构层面动手,把GPU从默认算力选项的位置上撬下来。
两头受挤,英伟达想不跟自己较劲都难。老黄这边的麻烦还没收尾,AI芯片市场又给英伟达添了一道“左右为难”。
对英伟达来说,这真是多事之秋。
参考资料:
[1]https://newsletter.semianalysis.com/p/tpu-strikes-the-king?utm_source=chatgpt.com