稀疏 MoE 架构
从训练与推理效率出发采用稀疏 MoE 结构，通过研究稀疏度 Scaling Law 确定性能与效率较平衡的稀疏比例，使小参数量激活的模型即可达到世界一流水平。
Doubao-1.5-pro
AI TOOL PROFILE工具资料采用稀疏 MoE 架构的大语言模型，用较小激活参数对标超大稠密模型。
价格官网未标价
平台—
归类大模型与开发平台
收录2025-01-22
复核2025-01-22
编辑评分
4.5 / 5
★★★★☆
Doubao-1.5-pro编辑总结
Doubao-1.5-pro 是字节豆包团队于 2025.01.22 更新的旗舰大语言模型，采用稀疏 MoE 架构与训练-推理一体化设计。核心逻辑是用小激活参数量换取对标超大稠密模型的表现：在完全相同的 9T tokens 训练数据对比下，激活参数仅为稠密模型 1/7 的 MoE 模型性能已超过该稠密模型，将业界此前不到 3 倍的性能杠杆提升至 7 倍。模型同时融合视觉、语音等多模态能力。短板在于官方未公开 API 定价、开放平台接入方式与具体上下文长度上限。
Doubao-1.5-pro是什么？
Doubao-1.5-pro 是字节豆包团队推出的高性能稀疏 MoE 大语言模型，主打在模型性能与推理成本之间取得极致平衡。项目从预训练阶段就坚持训练-推理一体化设计，目标是用较小的激活参数达到世界一流模型的能力水平。
从公开的能力说明看，模型在多个公开评测基准上取得了优异成绩，配合异构硬件与低精度量化策略构建了完整的高性能推理系统。训练侧采用自主数据生产体系，坚持不使用任何其他模型的数据，并通过 veRL 框架支撑强化学习阶段的训练。
对使用者的意义在于：产品与研究团队看重的是单位算力产出的能力，模型参数可按应用需求从深度、宽度、专家数等维度动态扩增或缩小；普通用户可享受到融合视觉、语音的多模态交互体验；而开发团队更关心的是推理成本与延迟，官方称其在 Prefill 阶段可将 Tensor Core 利用率拉至接近 60%。
Doubao-1.5-pro核心功能
7 倍性能杠杆
在完全相同的 9T tokens 训练数据对比下，激活参数仅为稠密模型 1/7 的 MoE 模型性能超过稠密模型，高于业界此前不到 3 倍的普遍水平。
参数动态调整
设计了一系列模型参数动态调整算法，可依据应用对性能的需求，从模型深度、宽度、MoE 专家数、激活专家数、隐藏 token 推理等维度扩增或缩小参数。
推理系统优化
针对 Prefill/Decode 与 Attention/FFN 四个计算象限采用异构硬件与不同低精度策略：Prefill 用 Chunk-PP Serving 使 Tensor Core 利用率接近 60%，FFN 阶段 MFU 提升至 0.8。
多模态融合
在同一模型中融合并提升视觉、语音等多模态能力。视觉方面在多模态数据合成、动态分辨率、多模态对齐、混合训练上做了全面技术提升，回复模式更精简友好。
自主数据标注
PostTraining 阶段构建高度自主的数据生产体系，坚持不使用任何其他模型的数据。Reward Model 部分借助梯度筛选和迭代过滤，用 25% 的数据达到近似全量的训练效果。
RL 训练框架
基于 veRL 打造高并行化的多角色训练推理一体框架，实现 token-wise 稳定建模，收敛速度提升 4 倍，在高难度任务上性能提升超过 10 个绝对点。
Doubao-1.5-pro值不值得用？
当你要评估或选用一个在推理成本与模型能力之间取得平衡的大模型时，Doubao-1.5-pro 值得关注——它用激活参数仅为稠密模型 1/7 的 MoE 结构跑出超过稠密模型的性能，并在 Prefill 阶段把 Tensor Core 利用率做到接近 60%、FFN 阶段 MFU 到 0.8。如果你的诉求是同时处理视觉与语音信号的多模态交互，它的融合方案也能覆盖。但若你急需确认 API 调用价格、开放平台接入细节或上下文长度上限，目前的公开资料并未给出这些信息，需要另外渠道了解。
建议选它的情况
- 需要同时处理视觉与语音信号的多模态应用
- 关注单位算力产出、希望压低推理成本的服务
- 希望按应用需求在模型深度、宽度、专家数等维度做参数调节的团队
不建议选它的情况
- 需要先确认 API 调用价格与开放平台接入方式才能决策的项目
- 必须依赖公开上下文长度或并发额度说明做容量规划的场景
Doubao-1.5-pro使用建议
入门先把路子走对
- 先看评测对标从性能评估表格入手，比对在自己关心任务上模型的公开评测表现，再决定是否深入。
- 确认多模态需求先明确是否需要视觉推理、文字文档识别、细粒度信息理解等能力，再评估是否选用本模型。
- 区分四个计算象限理解 Prefill/Decode 与 Attention/FFN 四象限的不同特征，有助于判断模型在自身业务负载下的表现。
进阶省时间也省钱
- 利用参数动态调整应用对性能的需求不同时，可从深度、宽度、MoE 专家数等维度扩增或缩小参数，在模型能力与推理成本间取平衡。
- 关注量化策略Prefill FFN 与 Decode FFN 均采用 W4A8 量化，了解它对精度与访存开销的影响，可优化部署方案。
- 借助 PD 分离部署Prefill 跟 Decode 集群支持灵活配比与动态扩缩，对每种角色独立做 HPA 弹性扩容，避免冗余算力。
Doubao-1.5-pro适合谁用？
多模态应用开发者
推荐需要在一个模型里同时理解虚拟与现实世界的视觉信号，视觉推理、文字文档识别、指令遵循等能力可直接复用。
大模型推理团队
推荐关注 Prefill 与 Decode 阶段的算力配比与延迟优化，可从其异构硬件与低精度策略中借鉴部署思路。
成本敏感的服务方
推荐希望用较小激活参数换取对标超大稠密模型的性能，7 倍性能杠杆意味着单位算力产出更高。
需要先比价采购的团队
有条件API 定价、开放平台接入方式与上下文长度上限均未公开，价格谈判前可能缺少参考依据。
Doubao-1.5-pro优点和缺点
优点
- 在相同的 9T tokens 数据对比下，激活参数为稠密模型 1/7 的 MoE 已超过稠密模型性能
- 将业界不到 3 倍的性能杠杆提升至 7 倍
- Prefill 阶段 Tensor Core 利用率接近 60%，FFN 阶段 MFU 提升至 0.8
- 强化学习阶段收敛速度提升 4 倍
- 高难度任务性能提升超过 10 个绝对点
- Reward Model 用 25% 的数据达到近似全量训练效果
- 同一模型融合视觉、语音等多模态能力
缺点
- API 定价与开放平台接入方式未公开
- 未说明支持的上下文长度上限
- 未公开可用性地域与语言支持范围
- 具体商用授权条款未说明
Doubao-1.5-pro关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 性能杠杆 | 7 倍 | Doubao-1.5-pro 模型性能与推理性能的极致平衡 |
| 对比训练数据量 | 9T tokens | Performance 对比图 |
| Prefill 阶段 Tensor Core 利用率 | 接近 60% | 高性能推理系统 |
| Prefill FFN 阶段 MFU | 0.8 | 高性能推理系统 |
| RL 阶段收敛速度提升 | 4 倍 | 扎实数据标注，坚持不走捷径 |
| 高难度任务性能提升 | 超过 10 个绝对点 | 扎实数据标注，坚持不走捷径 |
| Reward Model 数据使用效率 | 25% 的数据 | 扎实数据标注，坚持不走捷径 |
Doubao-1.5-pro常见问题
Doubao-1.5-pro 相比上一版本有什么提升？＋
从公开说明看，基础模型能力全面提升，在多个公开评测基准上表现优异。视觉方面相比上一版本，在多模态数据合成、动态分辨率、多模态对齐、混合训练上做了全面技术提升，进一步增强了视觉推理、文字文档识别、细粒度信息理解、指令遵循等能力，回复模式也变得更精简、友好。
它和 Llama3.1-405B 有什么不同？＋
Llama3.1-405B 为 15T tokens 的最终结果，数据分布与本模型不同，本模型稠密版本的参数量也远小于 Llama3.1-405B。从对比结果看，本模型预训练的数据质量和训练超参更优；MoE 模型完整训练后的性能比 9T tokens 数据的中间版本有更大提升。
MoE 架构对性能有什么影响？＋
MoE 模型性能通常可用表现相同的稠密模型总参数量与 MoE 激活参数量的比值衡量。在 IBM Granite 系列中，800M 激活的 MoE 性能接近 2B 稠密模型，比值约 2.5 倍；业界此前普遍不到 3 倍。本模型在相同的 9T tokens 数据对比下，用仅为稠密模型参数量 1/7 的激活参数超过了稠密模型性能。
训练数据是怎么来的？＋
PostTraining 阶段构建了高度自主的数据生产体系，由高效标注团队与模型自提升技术融合，持续优化数据质量，并严格遵循内部标准，坚持不走捷径、不使用任何其他模型的数据。SFT 阶段有算法驱动的训练数据优化系统，结合模型自演进技术提升标注的多样性和难度。
推理阶段做了哪些性能优化？＋
Prefill 阶段在计算访存比高的设备上做 Chunk-PP Prefill Serving，Tensor Core 利用率接近 60%，FFN 采用 W4A8 量化使 MFU 提升至 0.8；Decode 阶段采用计算访存比较低的设备 Serving，结合低成本 Sampling 与 Speculative Decoding 降低 TPOT。整体上通过定制化 RPC Backend、PD 分离下的弹性扩容与 GPU/CPU 异步化进一步提升效率。
Doubao-1.5-pro竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Doubao-1.5-pro本工具 | 4.5 | 未标价 | 稀疏 MoE 架构；7 倍性能杠杆；参数动态调整；推理系统优化 | — |
| Llama3.1-405B本工具 | — | 未标价 | 15T tokens 的最终结果，数据分布与 Doubao 不同；Doubao 稠密模型的参数量远小于 Llama3.1-405B，且 MoE 模型性能已超过它 | — |
| IBM Granite 系列本工具 | — | 未标价 | 800M 激活的 MoE 模型性能接近 2B 总参数的稠密模型，性能比值约 2.5 倍；Doubao 将这一比值提升至 7 倍 | — |
| GPT4o-0806本工具 | — | 未标价 | 在语言模型公开评测指标中显著优于 GPT4o 其它版本，Doubao 的对比表格采用了它的官方评测结果 | — |
在性能杠杆这一轴上，Doubao-1.5-pro 用激活参数仅为稠密模型 1/7 的 MoE 结构超过了对照稠密模型，高于 IBM Granite 系列约 2.5 倍与业界不到 3 倍的水平，因此对单位算力产出要求高的场景更适合选它。若你需要的是已被广泛验证、生态成熟的超大稠密模型作为基线，Llama3.1-405B、GPT4o 等仍是对照参考；但需注意它们的评测指标来源与数据分布并不与本模型一致。
Doubao-1.5-pro最新动态
-
Doubao-1.5-pro 发布
基础模型能力全面提升，在多个公开评测基准上取得优异成绩；采用稀疏 MoE 架构与训练-推理一体化设计，将性能杠杆提升至 7 倍；视觉多模态能力进一步提升。
