如何训练deepseek-v3

很多研发者看到这类模型的效果，第一反应是「我能不能也训一个」。真上手才发现，卡住的不是代码，而是几件事：预训练语料从哪来、MoE 这种稀疏结构到底增加了什么复杂度、要多大的集群跑多久、花掉的钱和人力是不是自己能承担的。这篇不灌鸡汤，只把训练一条大模型的主干流程拆开讲，每一步讲清做什么、门槛在哪、什么情况下不值得自己训，最后给你一份能直接照着走的判断清单。

很多研发者看到这类模型的效果，第一反应是「我能不能也训一个」。真上手才发现，卡住的往往不是代码，而是几件事同时压过来：预训练语料从哪来、稀疏专家结构到底增加了什么复杂度、要多大的集群连续跑多久、花掉的钱和人力是不是团队真正能承担的。这三四件事里任何一件掉链子，训练就停在那里。

这篇不灌鸡汤，把训练一条大模型的主干流程拆开讲。每一步讲清做什么、门槛在哪、什么情况下根本不值得自己训，最后给一份能照着走的判断清单。看完你应该能回答一个问题：我该走到哪一步就停。

先想清楚：训练这类模型难在哪

难点不在算法论文。论文是公开的，结构图画得清清楚楚。真正难的是数据规模、集群稳定性、通信效率这三件事必须同时成立，训练才能往前推。任何一件没做好，你看到的不是效果差一点，而是 loss 曲线直接崩或者干脆跑不完。开工前先给自己定个目标层级，不同层级的成本差着数量级。

完整预训练

从随机初始化开始把知识压进权重，最贵、最慢、最考验工程能力，普通团队基本不要碰。

继续预训练

在已有权重上喂领域语料，成本低一个量级，适合有独家数据的团队。

后训练与微调

指令跟随、对齐、垂直任务适配，数据量小很多，是绝大多数团队的现实落点。

第一步是数据，不是模型

很多人第一周就在调模型结构，这是顺序反了。预训练语料要经过抽取、去重、质量过滤、去毒与配比这一整套流水线，工程量常被严重低估。去重没做好，模型会记住重复片段；质量过滤太松，噪声把能力稀释掉；太严，语料规模不够又撑不起参数。这套东西没有现成答案，只能靠反复迭代和抽样人工看。

• 抽取：网页、书籍、代码、论文等不同来源要用不同解析器，解析错误会一路传到模型里
• 去重：文档级和段落级都要做，重复率高的语料会让模型在少数内容上过拟合
• 质量过滤：分类器加规则，重点抓机器生成的垃圾文本和模板化内容
• 去毒与合规：来源和授权链要在动手前理清，别等训练完才补，补不回来
• 配比：中英比例、代码与数学语料占比直接决定能力偏向，按目标任务试，没有标准答案

1. 先做小样本试跑取一小部分语料跑一遍完整清洗流水线，人工抽检输出质量，确认流程没问题再上全量。
2. 把流水线做成可复用脚本清洗逻辑参数化，换数据源只改配置不改代码，这套东西后面微调阶段还能接着用。
3. 记录配比实验每个配比版本留一份日志，后面模型能力偏了可以回溯是哪次配比造成的。

架构与并行策略怎么定

主干是标准 Transformer 解码器，这部分不用重新发明。稀疏专家层、注意力变体、多 token 预测这些属于可替换模块，建议先跑通一个稠密小规模版本，验证数据和流程没问题，再改成稀疏结构。稀疏结构的核心是让参数量和实际激活算力脱钩，省算力但把工程复杂度抬得很高，路由一旦不稳，整个训练直接废掉。

并行策略要在张量并行、流水并行、数据并行之间组合，选错会导致通信成为瓶颈，卡一直等数据。经验做法是先在单机小卡数上把并行组合跑通，记录每一步的通信占比，再往多机放大。至于当前主流模型的参数规模、层数和并行配置参考值，去站内模型资料库看当时的记录，别照搬旧文章。

分布式训练跑起来：集群与稳定性

多机多卡训练最大的敌人不是算得慢，是掉卡和静默错误。卡掉了没告警，训练继续跑但梯度是错的；通信出错被吞掉，loss 看着正常最后效果不对。这些坑只能靠工程手段提前防，checkpoint 频率、断点恢复、loss 异常告警这三样要提前设计好，不能等挂了再补。

• checkpoint 频率按集群规模定，集群越大越要频繁存，存的时间也要算进总时长
• 断点恢复要验证过，别等真挂了才发现恢复出来的状态和挂之前对不上
• loss 异常告警要设阈值，连续异常步数超限就自动停，别让它白跑几天
• 日志要能定位到具体是哪张卡出的问题，不然排查全靠猜
• 混合精度和梯度裁剪的参数要和集群规模匹配，换规模要重新试

准备一套小规模压力测试，先验证一周不挂，再决定上大规模。纸面算力打几折是常态，实际利用率受通信、IO、调度影响，别按理论峰值算时间。需要的带宽和存储配置可以去站内价格追踪和算力页面核对当时的参考口径。

预训练之后还有后训练这一步

预训练只是把知识压进权重，模型这时候还不会好好听人话。指令跟随、有用性、安全对齐要靠后训练阶段完成。这一阶段用的数据量比预训练小几个数量级，但对标注质量和一致性要求高得多，一条脏数据的影响在预训练里被稀释，在后训练里会被放大。

1. 先搭评估集在动模型之前把评估集定下来，覆盖目标任务的核心场景，别等训完才第一次测。
2. 做监督微调用高质量指令数据让模型学会按格式回答，这部分数据要人工审核过。
3. 做偏好对齐用对比数据让模型学会区分好坏回答，标注一致性比数量更重要。
4. 持续评估每轮训练后跑一遍评估集，记录变化趋势，发现掉点及时停。

门槛与预算：先算清再动手

算力、存储、带宽、电费、人力要一起算，只盯卡时单价容易漏掉大头。存储要放原始语料、清洗后语料、checkpoint 好几份，带宽在多机通信时是硬需求，人力上分布式调优的工程师成本往往比卡更贵。训练一次的完整花费可以到站内的训练成本与算力页面核对当时的口径和参考数字，别用自己拍脑袋的估算做大决策。

什么情况下不建议自己训：数据不独有、团队没有分布式训练经验、目标只是某个垂直任务。这三条只要中一条，从零预训练就很难是理性选择。预算要覆盖至少一到两轮完整训练加试错，只算一轮的钱，第一轮崩了就没退路。

多数团队更该走的路

如果只是想要某个领域好用，微调、检索增强、蒸馏这些小得多的动作往往就够。继续预训练比从零训便宜，但依然需要领域数据和对齐能力，不是免费的午餐。关键是把问题从「能不能训」换成「值不值得训」：先算收益，再看成本。

• 只想要领域知识：检索增强加少量微调，成本低见效快
• 想要特定风格或格式：监督微调往往就够
• 想减小部署成本：蒸馏一个小模型承接大部分请求
• 想要更强推理：优先考虑后训练和提示工程，别急着改主干
• 数据确实独有且量足够大：再考虑继续预训练
• 以上都不成立：直接换现成方案，把精力放到产品上

动手前的判断清单

把下面四组问题逐个回答一遍，任何一组答不上来就先停。这份清单不能保证你训成功，但能帮你避开明显不该开的工。

训练大模型的决策不是技术题，是资源题：先算清自己有什么，再决定走到哪一步。