谷歌再推TPU 8t与8i：AI芯片架构生变

有时候，你需要一颗全新的芯片；有时候，你需要换一种方式去配置手头已有的芯片，让它更贴合自己的工作负载。

谷歌在今年四月首度亮出了“Sunfish”TPU 8t和“Zebrafish”TPU 8i两个新版本加速器。其中TPU 8t由博通芯片研发部门按谷歌的要求制造，按预期目前已陆续进到谷歌的数据中心。TPU 8i则由联发科承担研发，今年早些时候出现过一些延误；眼下还不清楚它是否已经开始向谷歌发货。

从四月Sunfish和Zebrafish发布至今，谷歌把上一代“Ironwood”TPU v7p加速器（原本安排在2025年第四季度部署给公司内部使用）上线到了谷歌云，并公布了它在爱荷华州美国中部区域 (US-Central1) 和伦敦以外欧洲西部区域 (Europe-West2) 的价格。我下面的TPU价格表已经把这些更新后的价格算了进去。Ironwood的剩余产能前后花了大约一年才攒够，谷歌这才有能力把它放到云上出租。

接下来细看太阳鱼和斑马鱼这两套新系统。

TPU 8t面向AI训练负载设计，支持谷歌的3D环形互连技术，这种技术把9600个加速器连进同一个共享的一致性内存空间，并以FP4精度输出高达121 exaflops的算力。每台Sunfish 8i设备配有216 GB的HBM3E内存，分布在六个堆栈上。这是AI领域迄今最大的共享内存计算规模，谷歌显然希望从博通和芯片代工伙伴台积电 (TSMC) 那里拿到尽可能多的TPU 8t加速器，用来训练自家的Gemini前沿模型。

在一场介绍新型TPU机器的电话会议上，谷歌人工智能和计算基础设施副总裁兼总经理Mark Lohmeyer介绍，这些机器以9600个单元为一组构成pod，再拼成一个装有超过100万个TPU 8t设备的集群。他同时提到，这个集群确实被用来训练Gemini 4 Carbon前沿模型。该模型的交付时间略有推迟，让谷歌颇为担心。Gemini 4 Carbon由谷歌旗下DeepMind部门开发，10月28日发布。Carbon模型在Gemini 4 Argon交付几周后推出，各方面性能都更胜一筹。对通过Google Cloud访问API的用户来说，两个模型的“入门价格”都是每百万个输入token 2美元、每百万个输出token 10美元，缓存的输入token按输入token价格的5%计。

面向推理负载的TPU 8tx是TPU 8t的特殊版本（空闲时它照样能做训练），一共改了两处。第一处，TPU 8t上的3D环面互连换成了谷歌自己发明的板蝇互连（蜻蜓互连的一个变体）。这种互连追求更紧密耦合、更低延迟，为推理负载而生，尤其是同时跑多路推理流的复杂智能体负载。于是Pod里的加速器数量从9,600个降到1,152个。互连结构的直径缩小了8.3倍，网络变得更扁平，基于板蝇拓扑（芯片间仍用同一套专有互连ICI）的小型系统平均延迟大约只有3D环面拓扑的一半。

另一处变化在处理器：谷歌把自家的Axion Arm服务器CPU换成了一款未具名的AMD Epyc处理器。原因在于AMD处理器板载信任根和加密加速器，跑在TPU 8tx上的负载因此能一直保持加密状态，直到被使用，TPU处理完后再重新加密。谷歌暗示这是一款定制的Arm Epyc处理器，不过这可能更多跟核心数和时钟频率有关。它或许是现有的“Turin” Epyc 9005处理器，也可能是即将推出的“Venice” Epyc 9006处理器。谷歌自己就有加密和安全处理器，这项功能至今没并进TPU架构和Axion处理器，让人费解。我敢打赌，等TPU 9系列和下一代Axion CPU推出时情况就会如此，所以这可能是AMD的一次短期胜利。

谷歌的TPU 8i Max瞄准更大规模的上下文AI推理负载，为此把每个插槽里的Zebrafish加速器复合体数量翻了一倍。不过跟4月发布的初代TPU 8i相比，每个插槽的HBM内存容量只提升了33%。

更准确地说，在芯片层面，最初的Zebrafish 8i芯片有八个HBM3（不是带宽更高的HBM3E）堆栈，总容量288 GB，总带宽8.6 TB/s。TPU 8i Max由两颗芯片组成，每颗容量只有192 GB，但每颗带宽仍保持在8.6 TB/s。这意味着每颗Zebrafish芯片的HBM3堆栈数量不变，单颗容量却减少了33%，相当于从十二层HBM3堆栈降到八层。这也意味着，尽管每个插槽的绝对内存容量更高，TPU 8i Max单位算力所配的HBM内存反而比TPU 8i更少。看起来谷歌正把HBM3内存分散到更多TPU芯片上，并把两颗Zebrafish芯片紧密耦合，好为推理模型腾出更大的共享内存空间，用来存上下文信息和键值缓存。

架构设计说到底就是取舍，提升某方面性能就得在别处让步。代价可能是部分算力被闲置，可比每个插槽内存不够、跑不动大上下文要好得多。让人想不通的是，谷歌并没有砍掉一部分算力来换取平衡，也没让联发科和台积电从废料堆里翻出性能低33%的斑马鱼芯片来补内存缺口。确实费解。

再看TPU 8i Max卡，板底的ICI接口和别的TPU 8插槽长得不一样。原因目前没有说明。

接下来的问号是，Sunfish和Zebrafish这两款TPU谷歌打算怎么定价。

GenAI市场的弹性，取决于推理运行中处理和输出代币的成本能不能持续往下走，所以谷歌对训练用TPU收溢价说得通。TPU 8t每浮点运算次数和每HBM容量的成本大概率高于TPU 8i；每小时成本上，TPU 8tx略高于TPU 8t和TPU 8i，TPU 8i Max则略低于TPU 8i的两倍。

还有一层：TPU Sync这个分层存储管理软件层，跑在TPU之上，目标是尽量把HBM内存用足，同时应付零星、突发的智能体AI工作负载。

Lohmeyer 的说法是，TPU 往往有很大一部分时间其实闲着，可就算这些资源没被用上，也得一直占着，效率损失会很大，等到这类代理工作负载真的大规模铺开时尤其明显。TPU Sync 要解决的就是这个问题。

他继续讲，代理暂停时，工作内存会从 TPU 芯片上挪走；代理要接着处理时，再把它恢复回来。加速资源这样腾出来，就能拿去跑别的任务，系统利用率因此提高不少。利用率上去了，每次事务的成本就能降下来，也就是每个代理工作负载或活动的成本。Lohmeyer 说，这恰恰是 TPU 的核心价值主张之一：用尽可能低的成本拿到出色的性能。

TPU Sync是软件，谷歌能把它回溯到更早的TPU系统上，事实上也这么做了。TPU 5、TPU 6、TPU 7和TPU 8都已支持。至于集群里数万甚至数百万颗TPU之间怎么协调内存搬移，目前不清楚。那张图并没有真正讲明白数据如何在HBM、主机DRAM、主机闪存以及外部闪存和磁盘存储之间来回走，但这一步显然躲不开。TPU Sync能把推理吞吐量抬升多少，同样没有答案。相关数据值得等一等。