谷歌连发TPU 8tx与8i Max：HBM带宽翻倍，机密计算落地硬件层

芯东西11月9日消息，谷歌刚推出两款TPU：一款是TPU 8i Max，面向超大上下文窗口设计，主打单机柜最高算力密度；另一款是TPU 8tx，支持安全与机密推理。

谷歌给出的数据是，TPU 8tx对比TPU 8t，延迟最高可降一半，性能损耗基本可以忽略；TPU 8i Max的算力、SRAM、HBM带宽则都做到TPU 8i的2倍。

一年内连出4款TPU，这在谷歌还是头一回。今年4月，它已经发过两款专用TPU：用于大规模训练的8t和用于实时推理的8i。

加上这次的两款，谷歌第八代TPU的4款产品拼齐了，覆盖智能体的整个生命周期。

芯片之外，谷歌还统一升级了面向开发者的开源软件栈。

01.机密计算和内存墙，谷歌用2款TPU来接

过去TPU是谷歌和谷歌DeepMind一起设计的。现在计算范式从面向人类交互转向面向智能体的任务，企业需要能在超大上下文窗口里完成推理的加速器；一些强监管行业的客户，还要求给专属业务负载配上专用加密能力。

两款新TPU就是冲着这些需求来的，谷歌的目标是让每个开发者和云客户都能方便地用上TPU。

第八代TPU的产品组合，对应AI生命周期的不同环节：

4月发布的TPU 8t定位大型基础模型的训练核心，追求最高的“有效吞吐量”，也就是每瓦电能输出多少有效智能；TPU 8i是推理引擎，目标是打破内存墙，芯片间通信延迟最高降一半。

新出的TPU 8tx和TPU 8i Max，对应的正是机密计算和内存墙。

TPU 8tx是第八代TPU里的第三款，针对安全与机密推理做了优化，小规模训练也能用。它面向受监管的企业和政府机构，这些客户要在处理敏感数据的同时跑前沿模型和智能体。

数据在存储或网络传输时通常是加密的，可一到计算机处理环节，就得在内存里解密。TPU 8tx用的芯片和TPU 8t相同，主机搭配第五代AMD EPYC CPU，把安全能力直接做进硬件层，敏感数据和模型权重哪怕正在参与运算，也一直处于保护和隔离状态。

它还沿用了谷歌为实时推理打造的低延迟Boardfly网络，多步骤的智能体任务能跑得更顺。谷歌称，TPU 8tx对比TPU 8t延迟最高降一半，性能损耗几乎可以忽略。

训练级算力配上高速推理网络，企业就能在同一套系统上同时运行和定制模型。研发团队用TPU 8tx可以拿私有数据微调模型、把大模型蒸馏成小模型，也能通过强化学习训练智能体，这些操作不用在多个独立集群之间搬敏感数据。

内存墙这边，交给TPU 8i Max。

几十个智能体同时在一个软件代码库或几个小时的视频内容上协同干活，内存带宽的瓶颈就露出来了。谷歌的办法是把两块低延迟的TPU 8i芯片封进同一个封装基板。

按谷歌的说法，TPU 8i Max能做到算力和内存同步扩容，算力、SRAM、HBM带宽都是TPU 8i的2倍。

它还在原有柜内空间里塞进了2倍芯片面积，数据中心因此能在同样占地、同样功耗下部署更多算力。

02.向所有开发者开放TPU，软件栈统一升级

谷歌同时宣布，要让所有开发者都能用上TPU，投入围绕以下几点展开：

第一，PyTorch开发者不用重写代码，就能用TPU做开发。

上个月谷歌开源了TorchTPU，这是面向TPU的原生PyTorch框架。现在PyTorch代码和Hugging Face上的模型都能在TPU上原生运行，vLLM、SGLang等主流开源推理引擎也提供开箱即用的TPU后端。

第二，为了压低硬件优化门槛，谷歌开源了TPU智能体工具套件。它能直接接入Claude Code、Cursor、Google Antigravity等编程工具，几分钟内完成TPU环境接入、自动找出性能瓶颈，还支持用自然语言对自定义算子做自动调优。该套件目前还是预览版。

针对生产部署，谷歌把XLA Serving Engine工作流开源了。开发者能用Python训练模型，随后直接部署到低延迟的C++运行时上线，跨TPU、GPU、CPU这类异构硬件都能提供服务。

谷歌还表示，TPU在InferenceX、AgentX基准测试上已经拿到业界领先的生产级性能。

InferenceX与AgentX是行业标准评测集，考察的是真实智能体代码生成和长上下文任务。谷歌公布的测试结果显示，靠TPU上原生的vLLM-TorchTPU软件栈，它拿到了当前顶尖的性价比表现。这一优势覆盖多款前沿开源模型和各类开源服务栈，模型精度也不受影响。

第三件事，谷歌要解决自主智能体的算力空耗。

AI智能体是有状态程序，等数据库查询结果、等外部工具返回、等人工反馈时，常常一停就是数秒甚至数小时。为了让加速器在等待时段少耗电，谷歌推出Agent Compute Engine软件，能自动挂起闲置的智能体会话，并在毫秒级把工作内存迁出芯片。

第四，谷歌想用TPU Sync突破内存墙。

谷歌将开源面向TPU集群的模型状态层TPU Sync。它把芯片HBM、主机DRAM、共享存储和数据中心网络整合成一套协同设计的统一内存层级；能在毫秒级把KV缓存自动下沉到芯片外部，在解耦的预填充节点与解码节点之间流式传输上下文，同步强化学习权重，最终让KV传输延迟和首token生成时间降低90%以上。

第五，谷歌要让单一控制器在多块TPU上横向扩展分布式任务。

谷歌自研的大规模分布式机器学习运行系统Cloud Pathways，已在谷歌Kubernetes引擎（GKE）正式可用，把谷歌DeepMind运行时开放给所有谷歌云客户。

借助单控制器架构和路径工具，开发者能编排跨多个TPU切片的大规模TPU集群。谷歌称，预训练也好，强化学习、多主机推理也好，用起来都像操作一台本地机器。

另外，Cloud Pathways还有同置Python边车、分钟级以内的TPU切片热切换和弹性分片重排能力，长时间运行的任务遇到硬件故障也能继续推进。

最后，谷歌要依托GKE动态切片能力，按需拼接自定义TPU拓扑。

GKE动态切片功能已经正式可用。它用光电路交换（OCS）技术，把物理硬件资源供给和逻辑切片组建解耦。该功能可实时把TPU立方体动态组合成更大的拓扑（超切片），也能拆成更小、相互隔离的负载（子切片）。

谷歌称，这种拓扑灵活能力最高能把任务启动时间缩短到原来的1/5，故障恢复速度最高提升4.5倍，整池TPU的资源利用率和任务有效吞吐都能最大化。

03.结语：智能体时代，加速器要走向场景化定制？

谷歌称，现在越来越多企业借AI来构思、打造下一代AI基础设施，谷歌自己也是这样。不管是利用谷歌DeepMind的AlphaChip强化学习系统，还是靠Gemini在数小时内完成芯片版图设计，谷歌都在用基于TPU的AI服务加速下一代TPU硬件研发。

眼下智能体场景的算力需求正在爆发，算力厂商纷纷从通用加速器转向按训练、推理、保密、长上下文等场景做细分优化。谷歌让芯片、模型、系统相互助推形成闭环，做出这套围绕智能体生命周期定制的加速器方案，正是对这一趋势的新探索。