ZeRO 显存优化
通过分片优化器状态、梯度和参数，降低单卡显存占用，使万亿参数级模型训练成为可能，是 DeepSpeed 最核心的技术之一。
价格开源免费
平台Web / API
归类大模型与开发平台
收录2026-05-01
复核2026-05-01
编辑评分
4.2 / 5
★★★★☆
DeepSpeed编辑总结
DeepSpeed 是微软 AI at Scale 计划的一部分，开源深度学习优化套件。核心是 ZeRO、3D-Parallelism、DeepSpeed-MoE、ZeRO-Infinity 等系统创新，曾支撑 Megatron-Turing NLG 530B、Jurassic-1 178B、BLOOM 176B、GLM 130B 等模型训练。已集成 Transformers、Accelerate、Lightning、MosaicML 等框架。官网未公开定价与商业支持方案，需要团队具备分布式训练与配置调优能力。
DeepSpeed是什么？
DeepSpeed 由微软团队开发，是微软 AI at Scale 计划的一部分，面向需要训练和推理大规模深度学习模型的开发者、研究团队与企业。
套件包含 ZeRO、3D-Parallelism、DeepSpeed-MoE、ZeRO-Infinity 等系统技术，用于提升大规模训练的速度、显存效率与可扩展性，同时支持推理与压缩方向。
普通用户一般不直接接触它，更多通过 Transformers 等上层框架间接使用；开发者可以通过 JSON 配置控制训练批大小、梯度累积、优化器等参数；团队则用它把训练从单卡扩展到多卡、多节点集群。
DeepSpeed核心功能
3D 并行训练
结合数据并行、流水线并行和张量并行，把训练任务扩展到大规模 GPU 集群，支撑超大规模语言模型训练。
DeepSpeed-MoE
面向混合专家模型的训练与推理优化，在保持模型容量的同时控制计算开销，适合稀疏化大模型场景。
ZeRO-Infinity 卸载
把优化器状态、梯度等卸载到 CPU 或 NVMe，突破单卡显存限制，让有限硬件也能训练超大模型。
JSON 配置训练
通过 config JSON 控制 train_batch_size、train_micro_batch_size_per_gpu、gradient_accumulation_steps 等参数，三者可自动推导，减少手动计算。
官方说明 ↗框架集成
已与 Transformers、Accelerate、Lightning、MosaicML 等主流开源深度学习框架集成，可在现有训练流程中直接启用。
持续技术更新
近期方向包括 Muon 优化器、AMD GPU 上的 SDMA 卸载、SuperOffload、ZenFlow 无停顿卸载引擎、DeepCompile 编译器优化等。
DeepSpeed值不值得用？
DeepSpeed 适合手头有 GPU 集群、训练百亿到千亿参数模型的团队。它靠 ZeRO、3D 并行、MoE 和 ZeRO-Infinity 等系统技术把显存和通信瓶颈打开，已支撑 530B、176B 等模型的训练。如果是单卡微调或小模型实验，直接用 Transformers 更省事。它的配置项多，JSON 参数需要理解 train_batch_size、micro batch、梯度累积之间的关系，调优有门槛。另外它本身开源免费，但多卡集群的硬件和运维成本需要自行承担。
建议选它的情况
- 需要训练百亿到千亿参数级大模型的团队
- 已有 GPU 集群、想提升显存利用率和扩展效率
- 使用 Transformers、Accelerate、Lightning 并想启用分布式训练
- 研究 MoE、ZeRO-Infinity 等系统优化方向的开发者
不建议选它的情况
- 只做单卡小模型微调或推理的个人开发者
- 不具备分布式训练环境与调优人力的团队
- 需要商业级技术支持与 SLA 保障的企业用户
DeepSpeed使用建议
入门先把路子走对
- 从框架集成入手如果已经在用 Transformers 或 Accelerate，先启用它们对 DeepSpeed 的内置支持，比从零写配置更快看到效果。
- 配置三个批大小参数在 config JSON 中指定 train_batch_size、train_micro_batch_size_per_gpu、gradient_accumulation_steps 其中两个，第三个会自动推导。
- 先跑通再扩规模先用小模型和小批量验证配置正确，再逐步增大模型规模和 GPU 数量，避免直接在集群上调试。
进阶省时间也省钱
- 用 ZeRO-Infinity 卸载显存不足时把优化器状态和梯度卸载到 CPU 或 NVMe，能在有限单卡显存下训练更大模型，但需权衡通信开销。
- 关注社区模型案例参考 Megatron-Turing NLG、BLOOM、GLM 等已公开案例的配置思路，减少自行摸索时间。
- 跟进新版本特性近期更新包括 ZenFlow 卸载引擎、SuperOffload、DeepCompile 等，升级前先在小规模任务上验证收益。
- 遵守 DCO 贡献规范向 DeepSpeed 提交代码需签署 Developer Certificate of Origin，每个 commit 加 -s 标记即可完成签署。
DeepSpeed适合谁用？
大模型预训练团队
推荐需要训练百亿到千亿参数模型，DeepSpeed 的 ZeRO 和 3D 并行是核心工具，已有多篇公开论文与案例可参考。
使用 Transformers 的开发者
推荐通过 Transformers、Accelerate 等框架间接启用 DeepSpeed，无需深入了解底层系统实现即可获得加速。
MoE 与系统优化研究者
推荐DeepSpeed-MoE、ZeRO-Infinity、DeepCompile 等方向持续更新，适合做分布式训练系统研究的团队。
单卡个人开发者
有条件只做小模型微调或推理时，直接使用上层框架更简单，引入 DeepSpeed 的配置复杂度收益有限。
需要商业支持的企业
有条件若训练任务依赖外部保障，需先确认是否有对应服务。
DeepSpeed优点和缺点
优点
- 曾支撑 530B、176B 等超大规模模型训练
- ZeRO、3D 并行、MoE、ZeRO-Infinity 技术齐全
- 集成 Transformers、Accelerate、Lightning、MosaicML
- 开源免费，采用 DCO 贡献机制，社区协作规范
- 持续更新，2025 至 2026 年仍有多项系统优化发布
缺点
- 配置项多，批大小与梯度累积参数需理解后才能调优
- 需要自备 GPU 集群，硬件与运维成本不低
- 面向分布式场景，单卡小模型收益有限
DeepSpeed关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 已训练最大模型参数 | 530B | DeepSpeed Adoption |
| Jurassic-1 参数量 | 178B | DeepSpeed Adoption |
| BLOOM 参数量 | 176B | DeepSpeed Adoption |
| GLM 参数量 | 130B | DeepSpeed Adoption |
| YaLM 参数量 | 100B | DeepSpeed Adoption |
| train_batch_size 示例值 | 32 | Config JSON 文档 |
| gradient_accumulation_steps 默认值 | 1 | Config JSON 文档 |
DeepSpeed常见问题
DeepSpeed 是免费的吗？＋
DeepSpeed 是开源免费项目，官网没有列出任何付费档位或商业授权费用。它由微软团队开发，属于微软 AI at Scale 计划的一部分。软件本身免费，但训练大模型所需的 GPU 集群、存储和运维成本需要团队自行承担。
DeepSpeed 能训练多大的模型？＋
它已被用于训练多个超大规模模型，包括 Megatron-Turing NLG（530B）、Jurassic-1（178B）、BLOOM（176B）、GLM（130B）、YaLM（100B）、GPT-NeoX（20B）、AlexaTM（20B）、Turing NLG（17B）、METRO-LM（5.4B）。通过 ZeRO-Infinity 卸载，可在有限显存下训练更大模型。
DeepSpeed 和普通训练框架怎么配合？＋
它已集成进 Transformers、Accelerate、Lightning、MosaicML 等开源框架，可以在这些框架的训练流程中直接启用。如果团队已经在用其中某个框架，通常不需要重写训练代码，按框架文档启用即可。
国内能正常使用 DeepSpeed 吗？＋
DeepSpeed 是开源项目，安装和使用本身不受地域限制，官网也未列出地区性的访问或授权限制。但训练大模型依赖 GPU 集群，国内团队需要自行解决硬件与网络环境，多卡集群的运维成本也需自行承担。
配置训练时批大小怎么设置？＋
在 config JSON 中，train_batch_size 等于 train_micro_batch_size_per_gpu 乘以 gradient_accumulation_steps 再乘以 GPU 数量。三个参数中指定两个即可，第三个会被自动推导，减少手动计算出错的可能。
DeepSpeed 最近有什么新方向？＋
2025 至 2026 年的更新包括 Muon 优化器、AMD GPU 上的 SDMA 卸载、SuperOffload、ZenFlow 无停顿卸载引擎、Arctic Long Sequence Training、DeepCompile 编译器优化，以及 PyTorch 风格 backward 与低精度 master states 等 Core API 更新。
DeepSpeed最新动态
-
Muon 优化器与 SDMA 支持
新增 Muon Optimizer 支持，并为 AMD GPU 上的 ZeRO-3 引入 System DMA（SDMA），把集合通信卸载出计算单元以提升重叠效率。
-
Core API 更新
DeepSpeed Core API 加入 PyTorch 风格 backward 与低精度 master states，改善训练接口兼容性。
-
SuperOffload 与 ZenFlow 性能研究
发布 SuperOffload 用于在 Superchips 上进行大规模 LLM 训练，并研究 ZenFlow 与 ZeRO 卸载在 CPU 核心绑定下的性能表现。
-
ZenFlow 卸载引擎
推出面向 LLM 训练的 ZenFlow 无停顿卸载引擎，减少卸载带来的停顿开销。
-
Arctic Long Sequence Training
发布 ALST，面向百万级 token 长序列训练，提升可扩展性与效率。
-
DeepCompile
推出 DeepCompile，为分布式训练引入编译器优化能力。
