谷歌开卖整柜TPU系统,英伟达之外多了一个选择?
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI
老黄之外,英伟达最近烦心的事还有别的。
本周谷歌拿出两款新TPU芯片,一款针对机密推理,一款针对长上下文。加上上半年发的两款,第八代TPU如今已有四种配置。
同一年内推出四款TPU系统,这在谷歌还是头一回。而谷歌对TPU的盘算,恐怕比外界看到的更大——
同样是在今年,谷歌头一次把TPU系统卖到了外部。
量子位从谷歌内部人士处了解到,谷歌内部对此很有底气,称“明年TPU市场份额会快速上升”,到那时“会有更多大型企业大规模使用TPU”。
性能上,他们同样信心不小。
至少谷歌高层人士的看法是,“英伟达一家独步天下的日子快要结束了”。
(苏妈:咩啊?.jpg)
△图片由AI生成
“像英伟达一样”,把TPU系统卖出去
今年谷歌做了一个违背祖宗的决定——
头一回向外部客户销售整套TPU系统。
量子位从接近谷歌的人士处获悉,推动这一决策的是一位入职谷歌不到三年的高管。
内部争论很大,他仍坚持调整TPU的商业战略,最终促使管理层拍板,“像英伟达一样”把TPU卖给外部客户。
△图片由AI生成
最早在2013年,TPU不过是谷歌为压低自家AI业务算力成本而自研的专用加速芯片;到2018年,Google Cloud才开始对外开放TPU算力租赁。
云上租赁,意味着TPU相关的硬件基础设施全由谷歌自己管理和运营。
时间快进到今年Q1财报会,CEO劈柴哥说,谷歌看到AI实验室、资本市场公司以及高性能计算应用领域对TPU有“强劲需求”,并宣布面向部分精选客户,支持他们把TPU部署在自有数据中心里。
内部把这轮外售看成一次“以售养研”的结构性置换——拿外部订单分摊数据中心的天量资本开支,再靠规模化需求把自研硬件的成本曲线压下来。
从Q2起,谷歌开始向客户交付完整的TPU系统。
这套系统涵盖计算、存储、网络硬件及软件等一整套能力,训练和推理相关服务也在其中。
△图片由AI生成
这套商业模式,收入潜力已经露头。
今年Google Cloud的增速一直在往上走。Q1同比涨63%,Q2涨82%,Q3收入307亿美元、同比增长103%;经营利润从35.94亿美元升到111.21亿美元。
(小声说一句,Google Cloud大概是Q3财报里唯一不让人皱眉头的部分)
谷歌母公司Alphabet说得很清楚,TPU系统销售是第三季度Google Cloud增长的重要推手之一。
最新的10-Q里,Alphabet已把“产品销售,主要为TPU系统”写进Google Cloud收入一栏。管理层预计,TPU系统销售在Q4还会继续扩大。
不过TPU系统销售的合同收入绝大部分要到2027年才进报表,眼下财报上还看不到这笔钱,但这个方向恐怕已经掉不了头。
那为什么偏偏是今年动手?
说到底,谷歌把TPU拿出来卖,是自身演化和外部条件一起推着走的必然结果。
Q2财报会上,劈柴哥说过,谷歌内部对前沿AGI的算力需求仍是一条不可逾越的红线。可这两年高端GPU一直缺货,想买英伟达又买不到的客户,只能另找路子。
这个窗口,谷歌想抓住。
2025年发布的第七代TPU Ironwood,已经专门为推理做了设计。到今年的第八代,谷歌又把训练、实时推理、机密计算和超长上下文拆成不同的系统配置。
谷歌芯片业务负责人Amin Vahdat对外放过口风,说“未来属于专业化”。这番话的用意,正是拿专业化芯片路线去撬英伟达“一颗通用芯片包打天下”的说法。
△图片由AI生成
另一手,谷歌在TPU软件生态上疯狂补课,一锤四十、一锤八十地砸。
英伟达这些年最大的优势之一就是CUDA生态。它早早把AI开发者的工具箱配齐了,大量软件都围着CUDA做过适配和优化。
主流AI框架里,PyTorch对CUDA的支持最成熟。
业界通行的做法,就是用PyTorch搭模型,再经CUDA调用英伟达GPU,这道生态壁垒很难替代。
可很长一段时间里,谷歌TPU和TensorFlow、JAX绑得很深,软硬件栈跟GPU差别大,迁移门槛不低。
2025年年中,谷歌终于拉上Meta的PyTorch团队一起开发TorchTPU,目标就是只改少量代码,就能在TPU上跑PyTorch模型。
上个月底,TorchTPU这项合作的成果正式开源了。
效果会怎样,这里就不多废话了。
△图片由AI生成
性能和成本这块,11月5日SemiAnalysis公布了一组新的Agent推理测试结果。
结果显示,在Muse Spark等模型上,谷歌第七代TPU Ironwood在部分测试中,每美元token产出已经高过英伟达GPU。
以前英伟达只在少数场景输给过AMD;TPU带来的这波性价比冲击,是它没遇到过、也不想接受的局面。
SemiAnalysis透露,谷歌把AgentX的测试结果交了上去,数据显示TPUv7在每美元性能上压过了GB300 NVL72 FP4。消息一出,英伟达很快拉了一支工程师队伍应战。
这支队伍连轴转,昼夜不停,周末也照常开工,有人一直干到当地时间凌晨2点。四轮优化做完,在某个模型的测试里,GB300每美元产出的Token数量终于翻了过来,达到TPU的1.5-2.6倍。
一边是AMD在GPU阵营内部步步紧追,另一边是谷歌想从架构层面动手,把GPU从默认算力选项的位置上撬下来。
腹背受敌,英伟达想不跟自己较劲都难。老黄手头的事还没理清,AI芯片市场又给英伟达出了道左右为难的题。
对英伟达来说,这真是一个多事之秋。
参考资料:
[1]https://newsletter.semianalysis.com/p/tpu-strikes-the-king?utm_source=chatgpt.com