deepseek-r1 训练流程

很多人搜「deepseek-r1 训练流程」，其实是想搞清楚三件事：这套流程分几段、每段解决什么问题、自己如果只是想做领域适配，哪一段能跳过。网上讲得多是结论和数字，很少有人把阶段分工和判断标准摆出来。这篇按工程视角走一遍，每个阶段给你看什么、卡在哪、什么情况下这套流程不适用。

搜「deepseek-r1 训练流程」的人，多半不是要一份论文级复现指南，而是想搞清楚三件事：这套流程分成哪几段、每段各自解决什么问题、自己如果只是想做领域适配，哪一段其实可以直接跳过。网上讲结论的多，把阶段分工和判断标准摆出来的少。

下面按工程视角走一遍。每个阶段告诉你该看什么、容易卡在哪、什么情况下这套流程压根不适用。要具体数字的时候，一律去站内对应页面核对当时的数值，别信别人文章里的旧数据。

先看整体：这套流程到底分几段

把它画成三段式比较好理解：基础预训练、面向推理的中期训练、以强化学习为主的后训练。三段的目标不同、吃的数据形态不同、衡量方式也不同，混在一起谈很容易得出错误结论。

• 三段不是线性跑一次就完，后训练里的采样、打分、回灌会反复循环，当成迭代比当成流水线更准
• 每一段的产出物形态不同：权重、格式习惯、稳定性，是三样东西
• 中间任何一段换了数据配比，后面一段的表现都会跟着动，别只盯单点调参
• 不适用场景：只做垂直领域问答，通常不需要走完整流程，从已有开源权重出发做微调更省

预训练阶段：看什么、算力花在哪

这一段吃的是大规模通用语料，目标是让模型学会语言与常识分布。推理能力不是这一步的主要目标，别指望在预训练阶段就把思路能力调出来。

关注点应该放在数据配比、去重与清洗、上下文长度设置上，而不是盯着某一个评测数字。要对比基准口径，到 /benchmarks 核对当时的口径说明，不同评测集的结论经常对不上。

数据配比

通用语料与专业语料的比例关系，直接决定基座偏向

去重清洗

重复样本会让模型记住噪声，是常见的隐性坑

上下文长度

决定了后期能做多长的推理链，改起来代价大

算力账要按 token 数与卡时来估，具体量级看 /compute/training-cost 当时的算法说明。别拿别处看到的旧数字套自己的场景，规模不同差得很远。

后训练与强化学习：推理链是怎么被稳住的

冷启动阶段通常用少量高质量、带推理过程的数据做示教，先让模型学会「分步写」这个格式。格式没学会之前，后面的奖励信号很难起作用。

强化学习阶段靠可自动判分的任务给奖励，让模型自己摸索更长的思考路径。数学、代码这类有明确对错的题是典型场景，开放性任务就比较难搭。

• 奖励信号怎么设计：是不是真的和你要的目标一致，错了会带偏整个方向
• 采样成本怎么控：每次迭代要采多少条、判分要多少算力，先估清楚再启动
• 长度与正确率怎么平衡：思考链越长不一定越准，需要有指标盯着
• 判分器本身要不要防作弊：模型可能学会钻判分规则的空子

要判断当前这套方法的效果，到 /rankings 看当时的口径和对比方式，注意不同榜单测的东西不一样，别跨榜对比。

普通团队真正能动手的部分

先分清你要的是「复现训练」还是「基于已有权重做适配」。绝大多数团队属于后者，只需要在后训练环节做小规模微调或蒸馏，不需要从预训练走一遍。

1. 确认目标是要提推理能力、提领域准确率，还是只降成本。三者走的路完全不同，先写下来再动手。
2. 准备评测集没有稳定的自动评测集就别开始训练，否则无法判断是变好还是变坏。
3. 选路线算力紧就优先蒸馏，用强模型输出当训练信号，成本远低于自己跑强化学习，术语可查 /ai-dict/category/tech。
4. 算资源按 /models/deploy 的测算口径估显存与卡数，别先买卡再发现跑不动。
5. 留回退训练前后各留一版权重和评测记录，效果变差能回滚。

蒸馏路线对小团队更友好，但要注意它学的是老师模型的分布，老师和你的目标如果不一致，蒸出来的效果也会偏。判断标准很直接：你手上有没有一批能自动判分的样本，有就走强化学习思路，没有就先把评测集补上。

落地检查清单与排查顺序

按下面顺序排查，能从最常见的坑开始排除，省掉来回试的时间。

1. 先定目标把目标写成一句话，写在项目文档最上面，后面所有决策回来对这句话。
2. 再查数据训练数据里有没有可自动判分的部分，没有就先补评测集，这一步跳过后面全是瞎猜。
3. 再算算力按 /compute/sizing 的思路算一遍卡数与时长，再决定是租还是买。
4. 最后留退路训练前后各存一版权重和评测记录，变差了能回滚，别只跑一次就下结论。