大模型怎么训练

很多人搜「大模型怎么训练」，结果看到的要么是三行带过的科普，要么是论文里的术语堆砌，中间那段「到底先干什么后干什么」没人讲。这篇按顺序把预训练、数据准备、微调、对齐、评测串成一条线，每一步说清目的、输入输出和要不要自己动手，顺便给出卡住时的排查顺序。

很多人搜「大模型怎么训练」，翻到的内容要么是三行带过的科普，要么是论文里的术语堆砌，中间那段「到底先干什么后干什么」反而没人讲。这篇按顺序把整条链路串一遍：预训练、数据准备、指令微调、对齐、评测、成本与分工，每一步说清目的、输入输出，以及要不要你自己动手。

先说一个容易踩的预期管理：训练的产物是权重文件，不是「一个能聊天的产品」。上线、接口、并发、限流、计费这些属于部署环节，跟训练是两码事。所以你如果是做应用的，大概率一步都不用碰训练；做垂类落地的，通常只碰中间两三步。

先把整条链路画出来：五个阶段各干什么

预训练

输入是海量原始文本，输出是基座权重，模型学会语言规律和常识

指令微调

输入是「问题-答案」对，输出是能听懂任务指令的模型

对齐

输入是人类偏好或规则反馈，输出是语气、边界更合规矩的模型

评测

输入是固定验证集，输出是「这一轮到底有没有变好」的结论

部署上线

跟训练分开的一整段工作，权重只是原料，不是成品

判断要不要自己动手，看你的位置：只想调接口做应用，整条链路都不碰；做垂类知识问答，一般只碰指令微调那一段；只有当你手里有别人拿不到的语料、并且这个独占性直接决定产品价值时，从零预训练才值得考虑。

预训练：把语言规律压进权重里最贵的一步

预训练做的事本质上是「预测下一个词」：把海量文本切成片段，遮住一部分让模型猜，猜错了调参数，反复千百万次。语法、搭配、常识甚至一部分推理模式，都是在这个过程中自己涌现出来的，没人手工写过规则。

它叫自监督，意思是数据不需要人工打标。所以你花的钱主要落在两块：算力租用和语料清洗，而不是标注人力。这点常被误解，很多人以为训练贵是因为要请人标数据，其实预训练阶段恰恰相反。

算力规模怎么估、大概是什么量级，别凭感觉拍脑袋，到 训练成本测算（/compute/training-cost） 看当时的测算口径和分档方式。什么情况下不适用：如果你的语料规模、领域集中度和基座训练数据的重合度都很高，自建基座带来的边际收益会非常有限。

数据准备：这一步决定后面几层的天花板

预训练语料和微调数据的关注点完全不同。前者看量、去重、语言配比、来源合规；后者看格式统一、答案质量、场景覆盖。拿筛预训练数据的思路去做微调数据，通常会把好样本也一起丢掉。

• 去重：完全重复和近似重复都要清，重复样本会让模型对某些句式过度自信
• 去模板噪声：批量生成的字段残留、固定前缀后缀要剥掉，否则模型学会的是套话
• 剔乱码和过短样本：长度异常短的多数是抓取残渣，留着只会稀释信号
• 按任务分桶：分类、抽取、改写分开统计，别混在一起看总量
• 留出验证集：这一步最容易被跳过，也是后面排查问题的关键
• 检查授权：语料的来源和可用边界，参考 安全与合规（/safety） 里的说明

什么情况下不适用这套清单：如果你只是想让模型稳定输出某种固定格式，几条干净的高质量示例往往就够，堆几千条脏数据反而把格式学乱。这种场景下，数据质量不是天花板，数据一致性才是。

指令微调：让基座从「会续写」变成「会听话」

基座模型只会续写——你给它半句话，它接下去。指令微调用「问题-答案」对把它掰成能接收任务的形式。数据量通常比预训练小好几个数量级，但对样本质量的要求高得多，一条胡说八道的答案比一百条普通样本更有害。

判断标准：任务是封闭格式输出、有稳定标注数据时，指令微调值得做；如果知识每天都在变、回答需要引用来源，更适合走检索增强那条路，微调解决不了知识更新问题。显存要多少、配置怎么估，到 微调和托管推理哪家划算（/compute/finetune） 对照当时的数字。

对齐与偏好优化：把「能用」调成「好用、不乱说」

对齐阶段用人类偏好或规则反馈告诉模型哪些回答更好。它主要影响的是语气、拒答边界和安全性，不增加知识量。一个模型对齐做得好，表现是「话说到点上、不该说的不说」，而不是「懂得更多」。

它和指令微调的分工可以这样理解：指令微调管「会不会做」，对齐管「做得合不合规矩」。前者是能力问题，后者是行为问题。两个都做完，才是一个能直接面向用户的产品雏形。

什么情况下可以不做：内部工具、单一场景、输出格式固定的场合，对齐带来的收益可能抵不上标注成本。反过来说，只要输出会直接给到外部用户看，这一步就省不得，省下来的成本后面会以另一种形式还回去。

评测与迭代：怎么判断这一轮训练有没有白跑

1. 固定验证集把一批业务真实问题存下来，训练前后各跑一遍。不要在训练中途换题，换了就没法比
2. 看通过率变化不只看单题对错，看整体通过率和多次运行的一致性，波动大的先别下结论
3. 查数据泄漏确认验证集没有混进训练数据。这是分数虚高最常见的原因，排查顺序上应该排第一
4. 查格式统一模型答得对但格式不匹配任务模板，一样算失败。这一步经常被误判成能力问题
5. 最后才动超参数前面的都排干净了再去调学习率、轮数这些，否则调出来的结果不可复现

提醒一句：别只看通用榜单。榜单题目和你自己的任务往往不是一回事，分数涨了业务没变好是常见情况。榜单怎么读不被带偏，到 AI 测评榜单（/benchmarks） 和 AI 产品榜（/ai-rankings） 交叉看，注意它测的是什么、样本多少、怎么打分。

成本结构与分工：谁该动手，谁只要会看

按角色分，做应用的、做垂类微调的、做基座的三拨人，碰到的环节完全不同。别被「训练」一个词吓住，它其实是几段性质完全不同的工作拼起来的，每段的门槛和成本结构都不一样。

判断标准：如果微调只是为了让模型记住一批固定问答，先评估检索增强方案再决定，很多时候根本不需要动权重。租卡还是按量调接口的分界线，参考 算力从哪买：租卡、按量还是签合同（/compute/platforms）。

新手最容易走错的四个地方

• 把「训练」当成一个动作，其实它是好几段不同性质的工作拼起来的，混着谈就会算错预算
• 一上来就想从零预训练，忽略数据才是真正的瓶颈，算力反而花钱能买到
• 数据集不分训练和验证，最后指标好看但上线就崩，返工代价比一开始分好大得多
• 以为微调能解决知识更新问题，实际上知识类需求更该用检索增强

训练不是一次动作，是一条有顺序的流水线；先想清楚自己站在哪一段，再决定要不要动手。