谷歌连发TPU 8tx与8i Max：HBM带宽翻倍，延迟减半

芯东西11月9日消息，谷歌刚发布两款TPU：TPU 8i Max主打单机柜最高算力密度、面向超大上下文窗口设计，TPU 8tx则支持安全与机密推理。

谷歌表示，TPU 8tx相较TPU 8t最高能把延迟压掉一半，性能损耗基本可以忽略；TPU 8i Max的算力、SRAM、HBM带宽则都达到TPU 8i的2倍。

一年之内推出4款TPU，这在谷歌还是头一回。今年4月，该公司已经发布过两款专用TPU——大规模训练用的8t和实时推理用的8i。至此，第八代TPU的四款产品串起来，可以覆盖智能体的整个生命周期。

新TPU之外，谷歌还面向开发者升级了统一的开源软件栈。

01.针对机密计算和内存墙，谷歌甩出2款TPU

TPU以往一直由谷歌与谷歌DeepMind联手设计。不过计算范式正从面向人类交互转向面向智能体的任务，企业需要的是能在超大上下文窗口里完成推理的加速器；一些强监管行业的客户还提出，要为专属业务负载配上专用加密能力。

两款新TPU正是为此而来，谷歌的目标是让每位开发者和云客户都能方便地用上TPU。

第八代TPU产品组合对应AI生命周期的不同环节：4月发布的TPU 8t定位大型基础模型的训练核心，追求最高的“有效吞吐量”，也就是每瓦电能输出多少有效智能；TPU 8i是推理引擎，意在打破内存墙，把芯片间通信延迟最高降低一半。

这次新推出的TPU 8tx和TPU 8i Max，盯上的就是机密计算和内存墙。

TPU 8tx是第八代TPU里的第三款，针对安全与机密推理做了优化，小规模训练同样适用。它面向受监管的企业和政府机构，这类客户要在处理敏感数据的同时运行前沿模型及智能体。

平时数据在存储或网络传输环节是加密的，可一旦进入计算机处理，就得在内存里解密。TPU 8tx沿用与TPU 8t相同的芯片，搭配第五代AMD EPYC CPU主机，把安全能力直接做进硬件层——即便敏感数据和模型权重正在被运算使用，也始终处于保护和隔离之中。

它同时沿用谷歌为实时推理打造的低延迟Boardfly网络，多步骤智能体任务因此能跑得顺畅。谷歌称，TPU 8tx相比TPU 8t最高可将延迟降低一半，性能损耗几乎可以忽略不计。

训练级算力加上高速推理网络，意味着企业能在同一套系统上同时运行并定制模型。研发团队可以拿私有数据微调模型、把大模型蒸馏成小模型，也能用强化学习训练智能体，全程不必在多个独立集群之间搬运敏感数据。

内存墙的问题由TPU 8i Max来解。当数十个智能体同时在整套软件代码库或数小时视频内容上协同工作，内存带宽的瓶颈就会暴露出来。谷歌的办法是把两块低延迟的TPU 8i芯片封进同一个封装基板。

据谷歌介绍，TPU 8i Max能做到算力与内存同步扩容，算力、SRAM以及HBM带宽都是TPU 8i的两倍。

另外，TPU 8i Max在原有机柜空间里塞进了2倍的芯片面积，数据中心因而能在同等占地、同等功耗下部署更多算力。

02.谷歌要把TPU开放给所有开发者，软件栈统一升级

谷歌同时宣布，将围绕以下几个方面投入，把TPU开放给所有开发者：

一是向所有PyTorch开发者开放TPU开发能力，不用重写代码。上个月谷歌刚开源了面向TPU的原生PyTorch框架TorchTPU，眼下PyTorch代码和Hugging Face上的模型已能在TPU上原生运行，vLLM、SGLang等主流开源推理引擎也提供开箱即用的TPU后端。

二是降低硬件优化门槛：谷歌开源了TPU智能体工具套件，可直接接入Claude Code、Cursor、Google Antigravity等编程工具，几分钟内完成TPU环境接入、自动定位性能瓶颈，还支持用自然语言对自定义算子做自动调优。该工具套件目前仍是预览版。

生产部署这块，谷歌把XLA Serving Engine工作流开源了。开发者可以用Python训练模型，训练完直接放到低延迟C++运行时里上线，TPU、GPU、CPU这些异构硬件都能跑。

谷歌还表示，自家TPU在InferenceX、AgentX两项基准测试上跑出了业界领先的生产级性能。

InferenceX和AgentX这两套行业标准评测集，考的是真实智能体代码生成和长上下文任务。谷歌公布的测试结果显示，靠TPU上原生的vLLM-TorchTPU软件栈，它拿到了目前顶尖的性价比成绩。多款前沿开源模型、各类开源服务栈都能覆盖，模型精度也不打折扣。

第三件事，谷歌要解决自主智能体白白耗算力的问题。

AI智能体是有状态程序，等数据库查询结果、等外部工具返回、等人工反馈的时候，常常一停就是几秒甚至几小时。为了让它在这类等待时段少耗电，谷歌推出了Agent Compute Engine软件，能把闲置的智能体会话自动挂起，并在毫秒级把工作内存迁出芯片。

第四件事，谷歌要用TPU Sync去突破内存墙。

谷歌将开源面向TPU集群的模型状态层TPU Sync。这套东西把芯片HBM、主机DRAM、共享存储和数据中心网络拧成一套协同设计的统一内存层级。它能在毫秒级把KV缓存自动下沉到芯片外部，在解耦的预填充节点与解码节点之间流式传输上下文，同步强化学习权重，最终把KV传输延迟和首token生成时间压低了90%以上。

第五件事，谷歌要让单一控制器在多块TPU上横向扩展分布式任务。

谷歌自研的大规模分布式机器学习运行系统Cloud Pathways，已经在谷歌Kubernetes引擎（GKE）上正式可用。谷歌DeepMind的运行时由此开放给所有谷歌云客户。

单控制器架构加上路径工具，开发者能对跨多个TPU切片的大规模TPU集群做编排。谷歌说，预训练也好，强化学习、多主机推理也好，用起来就跟操作一台本地机器一样。

另外，Cloud Pathways还有同置Python边车、分钟级以内的TPU切片热切换和弹性分片重排，长时间运行的任务碰上硬件故障也能继续往前跑。

最后，谷歌要借GKE动态切片能力，按需拼出自定义TPU拓扑。

GKE动态切片功能已经正式可用。它用光电路交换（OCS）技术，把物理硬件资源供给和逻辑切片组建拆开。TPU立方体可以实时拼成更大的拓扑（超切片），也能拆成更小、相互隔离的负载（子切片）。

谷歌称，这种拓扑灵活能力最高能把任务启动时间缩到原来的1/5，故障恢复速度最高提升4.5倍，整池TPU的资源利用率和任务有效吞吐都能拉满。

03.结语：智能体时代，加速器要走向场景化定制？

谷歌说，现在越来越多企业拿AI来构思、打造下一代AI基础设施，谷歌自己也是这么干的。不管是靠谷歌DeepMind的AlphaChip强化学习系统，还是用Gemini在数小时内完成芯片版图设计，谷歌都在用基于TPU的AI服务加快下一代TPU硬件的研发。

智能体场景的算力需求正在爆发，算力厂商也从通用加速器转向按训练、推理、保密、长上下文等场景做细分优化。谷歌让芯片、模型、系统相互助推形成闭环，做出了这套围绕智能体生命周期定制的加速器方案，正是冲着这个趋势去的新尝试。