谷歌TPU首对外卖:四款齐发,推理每美元性能超GB200五成
本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。
英伟达最近要操心的事,可不止老黄那摊子。就在本周,谷歌拿出两款新TPU芯片,一款盯机密推理,一款盯长上下文。把上半年那两款也算上,第八代TPU如今已经有四种配置。
同一年里推出四款TPU系统,谷歌这是头一回。而它对TPU的盘算,恐怕比外界猜的还要大——同样是今年,谷歌头一次把TPU系统卖到了外面。
量子位从谷歌内部人士那里了解到,谷歌内部底气很足,说法是“明年TPU市场份额会快速上升”,到时候“会有更多大型企业大规模使用TPU”。性能上他们同样不含糊。起码在谷歌高层眼里,“英伟达一家独步天下的日子快要结束了”。
(苏妈:咩啊?.jpg)

△图片由AI生成
“像英伟达一样”,对外销售TPU系统
今年谷歌干了一件违背祖宗的决定——头一回把整套TPU系统卖给外部客户。
量子位从接近谷歌的人士处获悉,推动这个决策的是一位进谷歌不到三年的高管。内部争论很大,他仍坚持要改TPU的商业打法,最后让管理层拍板,“像英伟达一样”把TPU卖出去。

△图片由AI生成
最早在2013年,TPU不过是谷歌为了压住自家AI业务的算力开销而自研的专用加速芯片;到2018年,Google Cloud上才开放TPU对外的算力租赁。租赁这种形式,意味着TPU相关的硬件基础设施全由谷歌自己管理和运营。
不过时间跳到今年Q1财报会,CEO劈柴哥说,谷歌看到AI实验室、资本市场公司以及高性能计算应用领域对TPU的需求“强劲”,于是宣布面向部分精选客户,支持他们把TPU部署到自己的数据中心里。
内部把这轮外售看成一次“以售养研”的结构性置换——外部订单来分摊数据中心的天量资本开支,规模化需求再反过来压低自研硬件的成本曲线。
从Q2起,谷歌开始向客户交付完整的TPU系统。这套系统把计算、存储、网络硬件和软件等一整套能力都包含在内,训练和推理相关服务也一并提供。

△图片由AI生成
这套商业模式已经显露出收入潜力。今年以来Google Cloud的增长一路提速:Q1同比增长63%,Q2增长82%;到Q3,收入达到307亿美元,同比增长103%,经营利润也从35.94亿美元升到111.21亿美元。
(超小声,Google Cloud大概是Q3财报上唯一让人看了不皱眉的part)
Alphabet在最新10-Q里把“产品销售,主要为TPU系统”写进了Google Cloud收入项,管理层还预计这项销售在Q4会接着放大。这家谷歌母公司也明确表态,TPU系统卖出去是第三季度Google Cloud增长的重要推力之一。
不过TPU系统销售的大头合同收入得等到2027年才进报表,眼下财报上还看不到落点,但方向恐怕已经掉不了头。
为什么今年才这么做?
说到底,谷歌把TPU拿出来卖,是自身演化加上外部条件一起推出来的必然一步。Q2财报会上劈柴哥说过,谷歌内部对前沿AGI的算力需求仍是一条不可逾越的红线;可这两年高端GPU一直紧俏,求购英伟达无门的客户只好另找路子,谷歌想的就是抓住这个窗口。
2025年发布的第七代TPU Ironwood本就专门为推理做过设计,到今年的第八代,谷歌又把训练、实时推理、机密计算和超长上下文拆成不同的系统配置。谷歌芯片业务负责人Amin Vahdat对外放过一句话——“未来属于专业化”,意思正是拿专业化芯片路线去撬英伟达“一颗通用芯片包打天下”的说法。

△图片由AI生成
再者,谷歌在TPU软件生态上补课补得很凶。英伟达这些年最大的本钱之一就是CUDA生态,它早早把AI开发者的工具箱配齐,大量软件都围着CUDA做过适配和优化。
PyTorch是主流AI框架里对CUDA支持最成熟的一个。业界通行做法就是用PyTorch搭模型、经CUDA调英伟达GPU,这道生态壁垒因此很难被替掉。
而谷歌TPU长期深度绑定TensorFlow、JAX,软硬件栈跟GPU差得远,迁移门槛很高。直到2025年年中,谷歌才拉着Meta的PyTorch团队一起做TorchTPU,目标就是让PyTorch模型只改少量代码就能在TPU上跑起来。
上个月底,TorchTPU这项合作的成果正式开源。效果如何,相信不用我在这里废话了。

△图片由AI生成
性能和成本上,11月5日SemiAnalysis公布了一组新的Agent推理测试结果。在Muse Spark等模型上,谷歌第七代TPU Ironwood已经能在部分测试里做到每美元token产出高于英伟达GPU。
过去英伟达只在少数场景输给过AMD;TPU带来的性价比冲击,则是它没见过、也不想接受的局面。
SemiAnalysis称,谷歌提交AgentX测试结果、证明TPUv7在每美元性能上能击败GB300 NVL72 FP4之后,英伟达很快拉了一支工程师团队反击。
为了应对,英伟达拉起的工程师团队连同Agent一起连轴转,周末也照常干活。
有人一直干到当地时间凌晨2点。
四轮优化下来,在某个模型的测试中,GB300的每美元Token产出终于实现反超,达到TPU的1.5-2.6倍。

眼下的局面是,GPU阵营内部有AMD在后面追。
外部则有谷歌出手,想从架构层面动摇GPU作为默认算力选项的位置。
这一回,英伟达想不自己卷自己都难。
老黄的烦心事还没处理完,AI芯片市场又给英伟达添了一道“左右为难”。
对英伟达来说,这真是多事之秋,多事之秋啊。
参考资料:
[1]https://newsletter.semianalysis.com/p/tpu-strikes-the-king?utm_source=chatgpt.com