谷歌Meta开源TorchTPU：PyTorch原生跑上TPU
在圣何塞举行的 2026 年 PyTorch 北美大会上，谷歌和 Meta 开源了 TorchTPU——这是谷歌张量处理单元（TPU）的原生 PyTorch 后端。在 10 月 21 日的主题演讲中，Meta 软件工程师 Zongwei Zhou 表示，Meta（该公司于 2016 年创建了 PyTorch）计划利用该
2026 年 PyTorch 北美大会在圣何塞召开，谷歌与 Meta 在会上把 TorchTPU 开源了。这是一套直接跑在谷歌张量处理单元（TPU）上的 PyTorch 原生后端。10 月 21 日的主题演讲中，Meta 软件工程师 Zongwei Zhou 透露，PyTorch 由 Meta 在 2016 年发起，接下来公司打算借这个后端，把规模更大的 LLM 工作负载搬到 TPU 上跑。
此前承担这一角色的是 2020 年推出的 PyTorch/XLA，一个惰性张量桥接库，如今被 TorchTPU 接替。按公告的说法，旧方案“需要对源代码进行侵入性修改”。新后端的思路是让模型迁移只剩一步：把 model.to(“cuda”) 换成 model.to(“tpu”)。谷歌云在公告里写道，“借助 TorchTPU，TPU 将与 GPU 和 CPU 一起成为 PyTorch 的原生选项。”这份公告由 Core ML/AI 工程副总裁 Bill Jia 参与撰写。
两场讲市场需求的演讲过后，Jia 和 Zhou 一同登台，题目是“智能体时代的工作负载可互换性：将原生 PyTorch 带入云端 TPU”。PyTorch 基金会执行董事 Mark Collier 给出的判断是，数据中心里最大的负载已经从训练变成推理，由此产生了“对 token 的巨大需求”。他这样描述社区想做的事：做出一种开源软件，让模型“在任何云端的任何芯片上运行，并且能够连接到任何智能体”。基金会演讲幻灯片上的数字很直观：DeepSeek 的 Flash 模型 37 天里把成本压低了 60%；Kimi K3 则用不到 33 天，在同一套硬件上把速度提升了 68%。
Agentic AI 基金会执行董事 Mazin Gilbert 提到，2026 年 2 月 6 日，智能体消耗的 token 量已经超过人类。那之后，智能体这边涨了 14 倍，人类这边只有 2.8 倍。Gilbert 说，“所以基本上，这是一条呈‘曲棍球杆’状的爆发式增长曲线。”不过这些公开数据只来自 OpenRouter 一个平台，从业者引用之前最好先确认适用范围。
据演讲者介绍，TorchTPU 接进了 PyTorch 的底层调度器，Hugging Face 上的模型不用改就能用。vLLM 和 SGLang 两个推理引擎可以原生运行；TorchTitan 则覆盖大规模训练所需的密集型、专家混合型和扩散型模型。Ray 与 llm-d 负责在 Kubernetes 上把 TPU 负载铺到多台主机。开源的代码库一共四个：TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan。
Jia 演示了 TPU 数量超过 8000 颗时的扩展表现，接近线性。集群变大，单颗芯片的吞吐量基本没变。谷歌公布的结果里有一项是 Qwen3 235B 专家混合模型跑在 8192 颗 TPU v7x 上，模型 FLOPs 利用率 28%。公告也直说，改那一行代码只是个起点：
光靠这一处改动还到不了 TPU 的峰值性能，原因在于模型的结构、分片和运算方式可能更贴合 GPU 架构。但模型开箱即用这一点，应该没问题。
调优这块的缺口，谷歌打算用智能体来补。演讲最后，Jia 发布了 TPU 代理套件。该套件已在 GitHub 上开放预览，能接进编码框架，环境接入、故障诊断、性能调优这些活它自己完成。
Zhou 说，Meta 的 PyTorch 团队和谷歌一起做了 TorchTPU，“旨在让 TPU 成为 PyTorch 的第一类原生目标”。他提到，这背后是生产环境对性能、可靠性和可维护性的要求。“所有这些都是开源的，今天就可以使用，而这仅仅是个开始。”在谷歌云的公告中，Meta PyTorch 工程总监 Jana van Greunen 讲了做这件事的缘由：
在 Meta，推动前沿 AI 的发展需要巨大的计算规模和丰富的硬件多样性。我们不能被单一的硬件架构所束缚。
谷歌之外也有动作。10 月 20 日，亚马逊云科技宣布公开测试 Trainium 芯片的原生 PyTorch 后端 TorchNeuron，代码只需改成 .to(‘neuron’)。两个后端都通过 PyTorch 面向自定义硬件的扩展点 PrivateUse1 注册。TorchNeuron 首个版本还有短板：The Next Web 报道称，它眼下不支持动态输入形状，且跳过了约 22000 个 PyTorch 测试用例。Blair Hayes 在为 Forkast 撰写的分析文章里指出，供应商锁定并没有消失，只是换了地方：
PyTorch 的扩展点给了开发者一套通用语言，可优化层和供应层依旧攥在供应商手里。
TorchTPU 发布帖在 Hacker News 上拿到 379 分。网友的反应是松了口气，同时又留着几分现实的疑虑。有人写道，“我还记得当年为了让 PyTorch 在 TPU 上运行，不得不与 XLA 周旋的日子，看来我们终于获得了官方支持！”也有人追问 TPU 到底去哪儿买。一位曾代表公司考察谷歌本地部署版 TPU 的评论者比较冷静：“我们评估过这些产品，但决定继续使用 Nvidia，至少再用一代。”
数据中心之外，可移植性同样是卖点。Meta 的 Anthony Shoumikhin 和 Jacob Szwejbka 在一场关于用 ExecuTorch 部署机器人策略的会议上提到，策略从训练到设备可以一直留在 PyTorch 里，不用换技术栈。同一套量化方案和运算符图，能跑在 NVIDIA Jetson TensorRT、Intel OpenVINO 等目标平台上。
训练分会场拿出了成本方面的具体数字。RadixArk 的 Yueming Yuan 介绍 Miles 强化学习框架时说，把两个对数概率计算合并进一个内核，这一步的速度提升超过 10 倍。一次大规模运行中，Delta 更新让每次权重同步要传的数据从 62 GB 降到了 1 GB 以下。
多场会议都聊到了用强化学习（RL）训练智能体的开源工具。Anyscale 的 SkyRL 把训练、推理和环境拆开，由 Ray 负责协调。Hugging Face 的 OpenEnv 为每个强化学习环境提供统一接口，该工具已于 10月22日 加入 Agentic AI 基金会。Hugging Face 的 Sergio Paniego Blanco 用 TRL 和 OpenEnv，让四个编程智能体训练了一个小型 Liquid AI 模型，保留任务上的得分从 42% 升到 54%。
对正在考虑迁移的团队来说，只改一行设备代码就能先把模型跑起来，但还没调优。所以分片和内核的活儿要提前留出预算，TPU 容量也得先确认。想深入了解的开发者，可以去看 TorchTPU 公告、翻阅 TorchTPU 代码库，或者找 InfoQ 对 PyTorch Conference 2024 的报道来读。活动结束后两周内，会议录像会上传到 PyTorch 基金会的 YouTube 频道。
