分布式低通信训练
实现了 DeepMind 的 DiLoCo 方法，让不同设备上的 worker 只在每约 500 步同步一次伪梯度，大幅降低分布式训练对网络带宽的要求。
价格官网未标价
平台—
归类聊天对话
收录2026-01-01
复核2026-01-01
编辑评分
4.1 / 5
★★★★☆
OpenDiLoCo编辑总结
OpenDiLoCo 是 Prime Intellect 推出的开源分布式训练框架，基于 DeepMind 的分布式低通信（DiLoCo）方法，让模型训练能跨越全球多个连接不佳的设备协同进行。团队在一项实验中跨两大洲、三个国家训练模型，把 DiLoCo 扩展到原工作的 3 倍规模，并保持 90-95% 算力利用率。 它基于 Hivemind 库构建，结合 PyTorch FSDP，可将单个 DiLoCo worker 扩展到数百台机器。缺点是这类分布式训练对网络环境要求特殊，普通用户不易直接上手。
OpenDiLoCo是什么？
OpenDiLoCo 是 Prime Intellect 开源的一套分布式训练框架，用于在连接不佳的多个设备之间协同训练 AI 模型。它复现并扩展了 DeepMind 的分布式低通信（DiLoCo）方法，把同步频率从每步一次降到每约 500 步一次。
它建立在 Hivemind 库之上，并用 PyTorch FSDP 让单个 DiLoCo worker 扩展到数百台机器。
普通用户可以通过它了解分布式训练的基本原理；开发者可以基于开源代码搭建自己的分布式训练任务；研究团队则能借此在分散硬件上验证大规模模型训练方案。
OpenDiLoCo核心功能
跨洲训练验证
团队在一项实验中跨两大洲、三个国家完成模型训练，并保持 90-95% 算力利用率，证明了地理分散设备协同训练的可行性。
扩展到十亿参数
把 DiLoCo 扩展到原工作 3 倍的规模，验证了该方法在十亿参数级模型上的有效性，为更大规模模型提供参考。
基于 Hivemind 构建
实现建立在 Hivemind 库之上，用分布式哈希表（DHT）替代 torch.distributed 进行 worker 间通信，提升分散环境下的互联能力。
PyTorch FSDP 集成
通过与 PyTorch FSDP 的集成，单个 DiLoCo worker 可以扩展到数百台机器，使大规模分布式训练更容易落地。
开源可复现
以开源许可证发布代码，提供 DeepMind DiLoCo 实验的可复现实现，方便开发者与研究者在此基础上继续实验与改进。
OpenDiLoCo适合谁用？
分布式训练研究者
推荐可以基于开源代码复现 DiLoCo 实验，并在此基础上研究低通信训练算法的扩展与优化。
AI 基础设施开发者
推荐能借助 Hivemind 的 DHT 通信与 PyTorch FSDP 集成，搭建跨机器的分布式训练任务。
普通 AI 应用用户
不推荐该框架面向模型训练，不是开箱即用的对话产品，普通用户很难直接上手使用。
算力分散的小团队
有条件适合把多台分散设备组织起来做训练，但需要一定的分布式系统与训练工程经验。
关注大模型训练动态的读者
有条件适合了解分布式低通信训练的方向，但不直接提供可交互的模型服务。
OpenDiLoCo优点和缺点
优点
- 复现并开源 DeepMind 的 DiLoCo 低通信训练方法
- 跨两大洲、三个国家训练，保持 90-95% 算力利用率
- 把 DiLoCo 扩展到原工作 3 倍，验证十亿参数级效果
- 基于 Hivemind 与 PyTorch FSDP，可扩展到数百台机器
- 代码开源，便于研究者复现和二次开发
缺点
- 面向训练框架，普通用户无法直接使用
- 需要一定的分布式系统与训练经验
- 官网未公开价格与商用授权信息
- 更适合研究者，产品化程度有限
OpenDiLoCo常见问题
OpenDiLoCo 要花钱吗？＋
。它是一套开源框架，代码以开源许可证发布在 GitHub 上，但运行训练本身需要自己准备算力资源。具体费用取决于你使用的硬件与云服务。
它的核心能力是什么？＋
它实现了 DeepMind 的分布式低通信（DiLoCo）方法，让不同设备只在每约 500 步同步一次伪梯度，从而降低分布式训练对带宽的要求，并可在连接不佳的设备之间协同训练。
它能训练多大的模型？＋
团队把 DiLoCo 扩展到原工作 3 倍的规模，验证了它在十亿参数模型上的有效性，并通过与 PyTorch FSDP 的集成让单个 worker 可扩展到数百台机器。
它和常见的分布式训练方式有什么不同？＋
传统数据并行训练需要频繁同步梯度，对网络带宽要求高。OpenDiLoCo 用内外两层优化，把同步频率降低到每约 500 步一次，从而适应跨地域、低带宽的设备环境。
国内能不能用？＋
官网未说明国内可用性。它依赖 GitHub 上的开源代码与自备算力，能否使用主要取决于你能否访问代码仓库并组织训练资源。
OpenDiLoCo竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| OpenDiLoCo本工具 | 4.1 | 未标价 | 分布式低通信训练；跨洲训练验证；扩展到十亿参数；基于 Hivemind 构建 | — |
| 造作 AI – 每天免费5000字 | — | 未标价 | 造作 AI 官网,AI 对话，创作，模型训练，内置智能对话机器人，文案生成等! 造作 AI 简介 | — |
| spark | — | 开源免费，Apache 软件基金会社区维护 | Apache Spark 是一个高效的分布式计算框架，提供强大的机器学习库 MLlib,支持 | Web / Windows / macOS |
| 中国移动通信联合会 | — | 未标价 | 中国移动通信联合会致力于推动数字经济与通信技术的融合发展 | Web |
| Fine-tune AIs | — | 未标价 | 无代码 AI 模型微调平台，用于创建自定义 AI 模型 | — |
| Croma A.I. Studio | — | 全部应用免费，无需账号与订阅 | Croma A.I | Web |
