谷歌Ironwood TPU跑MLPerf:8192颗集群102秒完成DeepSeek-V3预训练
谷歌云(Google Cloud)昨日(11 月 16 日)发布博文,指出在 MLPerf Training v6.1 基准测试第一轮中,提交了覆盖第七代 Ironwood TPU 与英伟达 Grace Blackwell GPU 的 10 项结果,涉及模型预训练,以及 MLPerf 首次纳入的智能体强化学习测试。
谷歌云(Google Cloud)11 月 16 日发布博文,公布其在 MLPerf Training v6.1 基准测试第一轮提交的 10 项结果,覆盖第七代 Ironwood TPU 与英伟达 Grace Blackwell GPU,内容涉及模型预训练,也包括 MLPerf 首次纳入的智能体强化学习测试。
这 10 项成绩并非全部由 Ironwood 贡献:4 项跑在谷歌自研芯片上,另外 6 项用的是英伟达 GPU。
DeepSeek-V3 预训练测试中,8,192 颗 Ironwood TPU 用 1.70 分钟(约 102 秒)让目标模型达到基准规定的质量要求。谷歌还披露,扩展到 4,096 颗芯片时,系统扩展效率为 96%。
MLCommons 公布的参赛方补充说明显示,谷歌在 DeepSeek-V3 671B 预训练项目上提交了三组 Ironwood 成绩:
| Ironwood 芯片数量 | 达到目标质量的时间 | 换算为秒 | 相对 2,048 颗配置的提速 |
|---|---|---|---|
| 2,048 颗 | 5.03 分钟 | 约 302 秒 | 基准 |
| 4,096 颗 | 2.62 分钟 | 约 157 秒 | 约 1.92 倍 |
| 8,192 颗 | 1.70 分钟 | 102 秒 | 约 2.96 倍 |
同一轮 DeepSeek-V3 671B 测试中,公开成绩可参考下表:
| 提交方/平台 | 加速器配置 | 达标用时 |
|---|---|---|
| 英伟达 GB300 NVL72 集群 | 10,240 颗 GB300 GPU | 1.38 分钟,约 82.8 秒 |
| 谷歌 Ironwood 集群 | 8,192 颗 Ironwood TPU | 1.70 分钟,102 秒 |
| 英伟达 Vera Rubin NVL72 集群 | 1,024 颗 Rubin GPU | 4.14 分钟 |
| 英伟达 GB300 NVL72 集群 | 1,024 颗 GB300 GPU | 8.03 分钟 |
| 谷歌云 A4X Max | 256 颗 GB300 GPU | 31.96 分钟 |
其中 Ironwood 和谷歌云 GB300 的数据由谷歌披露,其余成绩出自英伟达本轮技术说明。英伟达把 10,240 颗 GB300 的 1.38 分钟列为本轮该项目的最短用时。
本轮首次引入的智能体强化学习测试里,640 颗 Ironwood 芯片运行 Qwen3.5-397B,18.02 分钟达到编程任务要求,准确率 76.5%,高于 69% 的目标。代码生成与学习同步推进,训练芯片的等待时间占比不到 3%。
Google Cloud A4X Max 实例中,256 块 NVIDIA GB300 GPU 用于预训练基准,31.96 分钟达到目标质量;此外还有 5 个 A4X 和 A4X Max 在 agentic RL 基准测试中的提交。
参考