如何训练自己的deepseek-r1

很多人看到「开源推理模型」就想自己也训一个，结果第一步就卡在显存和数据上。这篇不讲虚的，只回答三件事：自训到底包含哪些环节、你现在手里的卡和数据够不够、以及不够时应该退到哪条路。适合已经会跑推理、准备往训练方向动手的开发者。

很多人看到「开源推理模型」四个字就想自己也训一个，第一步卡在显存和数据上，第二步卡在「我到底要训什么」上。这篇只回答三件事：自训到底包含哪些环节，你手里的卡和数据够不够，以及不够时该退到哪条路。适合已经会跑推理、准备往训练方向动手的开发者。

先把期待放正：自训不等于「复制一个官方大模型」，它更像是用你自己的数据和算力，把一个已有的推理能力往你的领域里掰。掰得动多少，取决于你愿意投多少卡和多少标注时间。下面按「先认清自己在做哪件事」到「动手前的检查」的顺序拆。

先分清：你说的「训练」是哪一种

「训练」这个词被用得太宽了。从零预训练、继续预训练、指令微调、推理能力蒸馏，是四件成本差好几个量级的事。多数人嘴上说自训，实际想要的是「让模型按我的领域推理」，这类需求通常落在微调或蒸馏上，跟预训练不是一回事。

• 先写下你要模型新增的能力是什么：是知识、是格式、还是推理链，三类对应不同路径
• 知识类优先微调，格式类可以用少量样本加模板约束，推理链类才需要考虑蒸馏
• 什么情况下不适用：如果你只是想要更强的基础推理能力，自训基本不划算，直接用现成推理模型更省
• 不确定时，先按微调做一版小实验，用结果反推是不是需要更重的路径

算力和数据的地板在哪

别凭感觉报数。按目标参数量、序列长度和训练方式反推显存与卡数，到站内的部署与算力估算页按自己的模型口径算一遍，比在群里问「我这个卡够不够」靠谱得多。

显存估算页

到 /models/deploy 按参数量、精度、序列长度反推卡数和显存，先算再买

算力口径

到 /compute/sizing 核对训练方式对应的算力区间，别把推理的估算套到训练上

数据三段式

样本要按「问题—推理过程—答案」组织，只有问答对而没有中间步骤，训出来的模型不会推理

小样本先行

先准备小规模、高质量、可复现的样本集，跑通全流程再扩量

1. 定口径写下目标参数量、最大序列长度、训练方式三项，作为后面所有估算的输入
2. 算地板到站内估算页把三项输进去，得到显存和卡数的最低要求，记下来
3. 凑数据按三段式整理样本，先做几百条高质量样本跑通，扩量前统一标注口径
4. 验一致性随机抽一批样本人工过一遍，确认推理过程的写法没有自相矛盾

四条路线怎么选、按什么顺序做

路线选择不是看哪条先进，而是看你的预算和数据形态。预算极小就蒸馏，有领域数据就 LoRA 微调，要改基础能力才考虑继续预训练，从零预训练基本只适合机构。选定之后按固定顺序推进，每一步都留退路。

1. 跑通推理先把基座模型推理跑顺，确认输出格式和评测方式固定下来
2. 固定评测集准备一批不参与训练的评测样本，作为后面所有对比的基线
3. 小样本微调用少量高质量数据先微调一版，和基线对比
4. 对比基线如果效果没变好，先查数据和评测，不要急着加算力
5. 再决定加算力确认方向对了再扩数据、加卡，出问题能回退到上一版权重

动手前把许可证和交付口径过一遍

这是最容易被跳过、又最容易在最后卡住的一步。基座权重的许可范围、训练数据的来源授权、交付形态的合规要求，三件事要在开训前查清，不要等训完才发现不能上线。

• 确认基座权重能不能商用、要不要署名、衍生模型能不能换许可证
• 训练数据的来源与授权留档，尤其是爬取语料，留不下来源的样本尽量不用
• 交付形态想清楚：是本地权重还是对外接口，两者的合规要求不一样
• 模型卡和训练配置一起归档，方便后续复现和对外说明
• 什么情况下不适用：纯内部研究、不外发不商用的场景约束会松，但仍建议留记录

新手最容易踩的几个坑

这些坑的共同点是：出问题时很难定位。提前知道，能省下不少重复实验的时间。

自训的胜负不在第一版效果，而在你能不能把每次改动的原因和结果都记下来。

最后给一个判断口诀：能微调就不蒸馏，能蒸馏就不继续预训练，能继续预训练就别想着从零开始。每一层都比上一层省一个量级的投入。