大模型训练的核心技术路径是什么

你大概遇到过这种局面：团队要做自己的模型，会上有人主张继续预训练，有人说直接微调就够，还有人提蒸馏、对齐、RAG。名词都听过，但到底该走哪条路、每条路的硬门槛在哪，没人能一次说清。这篇按「你手里有什么资源、要解决什么问题」两条线，把主干路线的取舍逻辑摊开讲，最后给一张可对照的选择清单。

你大概遇到过这种局面：团队要做自己的模型，会上有人主张继续预训练，有人说直接微调就够，还有人提蒸馏、对齐、检索增强。名词都听过，但到底该走哪条路、每条路的硬门槛在哪，没人能一次说清。这篇按「你手里有什么资源、要解决什么问题」两条线，把主干路线的取舍逻辑摊开讲。

先说结论：这几种路线不是互相替代的关系，它们解决的是不同层面的问题。预训练换的是底子，微调换的是行为，检索换的是知识来源，对齐换的是输出习惯。选型第一个动作不是挑技术，而是先写清楚你的瓶颈到底是「模型不知道」还是「模型不听话」。下面逐条拆，最后给一张能直接对照的选择清单和排查顺序。

先把路线图摊开：一条主干加三条岔路

主干链路是预训练、后训练对齐、部署推理三步；岔路是微调、蒸馏、检索增强三条。主干决定模型的基础能力上限，岔路决定它在你场景里能不能用。很多团队纠结的其实是岔路选择，却把它当成主干问题来讨论，于是一直在算力预算和数据采购上打转。

预训练

从随机初始化的权重开始，用大规模通用语料训练，解决「有没有基础能力」

继续预训练

在已有权重上再喂领域语料，解决「知识分布偏不偏」

后训练对齐

用偏好或可验证反馈调整行为，解决「听不听话、格式稳不稳」

微调

用小规模标注数据调整行为模式，解决「特定任务做得准不准」

蒸馏

用大模型的输出当监督信号训练小模型，解决「成本和延迟能不能落地」

第一条判断动作很简单：拿你的失败样本过一遍，看错在什么地方。如果是模型根本不知道这个知识，往检索或继续预训练方向想；如果是模型知道但答得不合规范，往对齐或微调方向想。这两类问题的解决成本差着量级，判断错了后面的投入基本白花。

预训练：什么条件下才值得自己从底子开始

预训练的产出是通用能力，效果高度依赖数据规模、清洗质量和训练稳定性，不是堆卡就能出结果。它是一条长周期路线，中途的稳定性问题和数据返工都会把工期拉长。所以真正的门槛不是「有没有卡」，而是「能不能持续供给高质量数据、能不能接受几个月的迭代周期」。

• 是否有独有且合规的语料：公开数据的重复训练价值在下降，独有的行业语料才是差异化来源
• 是否能接受长周期迭代：训练中断、数据回滚、评估反复都是常态，排期要留缓冲
• 是否有稳定的数据生产管道：一次性买的语料训完就用尽，持续产出的数据管道才有意义
• 是否能承担训练稳定性成本：分布式训练的排查、checkpoint 管理和试验管理都需要专门人力
• 验收标准是否复杂：只盯几个固定任务的话，自己预训练的收益会被后训练抹平

最容易踩的坑是把「领域不适配」误判成「必须重训」。多数情况下，模型的基础能力没问题，只是缺领域知识和输出规范，这两件事后训练和检索都能解决。什么时候不建议做预训练：团队没有持续的数据生产管道，或者验收标准只看几个固定任务，这两种情况下投入产出比很难成立。

继续预训练：想注入新领域知识时的中间选项

继续预训练是在已有权重上再喂一批领域语料，比从零起步轻得多，但比微调重。它的目标是改知识分布，不是改回答风格。指望它顺便教会模型按固定格式输出，通常会失望，因为格式属于行为层面，得靠后训练那条线解决。

灾难性遗忘是这条路线的主要风险，控制办法是评估集同时保留通用能力和领域能力两组，训练过程里两组都盯。适用边界是：领域语料有稳定来源，且这些知识不适合放进检索库时，继续预训练比纯微调更值得试。反过来，如果你的领域知识更新频繁，检索的维护成本反而更低。

后训练对齐：把「会说话」变成「按你要的方式说话」

对齐解决的是行为问题：遵循指令、控制语气、拒绝越界、输出结构稳定。主流做法分两条，一条靠人工或模型标注的偏好数据做优选，一条靠可验证的反馈做迭代，比如能自动判对错的数学题或代码任务。两条路并不互斥，很多团队是先用可验证反馈打底，再用偏好数据调风格。

1. 先定义什么叫「对齐好了」把期望行为写成可检查的条目，比如拒答范围、输出格式、语气边界，每条都要能人工判定对错
2. 确认反馈信号来源问自己：这个信号是人工标、规则判、还是模型判？三种来源的成本和稳定性差很多，选错会让整个阶段空转
3. 搭最小评估集按行为条目各准备一批测试样本，覆盖正常场景和越界场景，每次调整后跑同一套
4. 小步迭代并留存版本每轮只调一个变量，保留对比结果，避免一次改太多分不清哪步起效

选型关键不是方法名，而是你能不能造出稳定的反馈信号。没有可靠反馈信号，对齐阶段基本是空转，因为模型不知道往哪个方向改。什么情况下不适用：任务本身没有明确对错标准，比如创意文案，硬对齐反而会把多样性压没，这时候应该放宽验收口径而不是继续加标注。

微调：最常被高估也最常被误用的一条路

微调改的是行为模式，不适合用来塞大量事实性知识。知识类需求优先考虑检索，因为检索更新快、可溯源，而微调进去的知识更新一次就要重训一轮。判断动作有个明确顺序：先做提示词版本，再试检索版本，两轮都卡在同一个失败模式上，才轮到微调。

• 失败样本是否成规模：零散个案不值得为它训一个模型，先把提示词补丁打上
• 失败模式是否一致：同类错误反复出现，才说明是行为问题而不是知识缺口
• 数据能否凑齐：需要一致格式、覆盖边界情况的样本，规模不够会直接过拟合
• 是否有评估办法：微调后必须能在同一套评估集上和基线对比，否则看不出退化
• 是否有维护预算：知识类微调需要定期重训，这块人力要提前算进去

数据侧的门槛比算力侧更硬。很多团队卡住不是因为训不动，而是因为凑不出格式一致、覆盖边界情况的样本。什么情况下别急着上微调：你的失败样本是零散个案、没有成规模的同类错误，这种时候微调只会把一个本来靠提示词能解决的问题复杂化。

蒸馏：把大模型的判断力搬到能落地的尺寸上

蒸馏的本质是用大模型的输出当监督信号，训练一个更小或更专的模型。它的前提是你已经有一个表现足够好的教师模型，且教师的输出质量可控。如果教师本身在某些场景就不稳，蒸馏只会把这些不稳成批复制下去。

风险集中在偏差继承。教师模型的错误倾向会被成批复制到学生模型里，评估时必须单独盯这一项，做法是准备一组教师表现不好的边界样本，专门看学生在这组上的表现。适用场景是推理成本或延迟卡死了方案；不适用在效果还没达标就想先压成本，那是顺序搞反了。

数据与评估：贯穿所有路线的两条硬约束

每条路线的真正分水岭都在数据侧：能不能拿到、能不能合规用、能不能持续产。算力可以租，数据不行。所以选型讨论里应该把数据供给能力放在第一条，而不是等训练跑起来了才发现验证集里混进了训练样本。

评估不要只看一个总分，按任务类型拆成几组，分别看通用能力和目标能力的涨跌。单看总分最容易掩盖退化，一类涨了另一类跌了，总分可能没变化。数据来源和版权边界要先过一遍，这块的具体要求和各家服务条款差异，到站内的合规相关页面核对当时的说明。

训练路线选错的代价，往往不是白花钱，而是花了钱还没法证明问题出在哪一层。

落到动作：一张对照表和排查顺序

排查顺序建议按这个链条走：任务能否用现成模型解决，提示词是否够用，检索能否补齐知识，是否只剩行为问题，能否拿到反馈信号，再考虑微调或蒸馏。每一步只改一个变量，否则出问题时分不清是哪一步带来的。上线前留一条回退路径，新模型的表现要和当前方案在同一套评估集上对齐比较。

1. 写清瓶颈把最近的失败样本归类成「不知道」还是「不听话」，各占多少比例，用数字说话
2. 按链条往下试提示词、检索、对齐、微调、蒸馏，每一步做完在同一套评估集上对比，达标就停
3. 确认数据供给看目标路线需要的数据能不能持续拿到，拿不到的路线直接排除，不要硬撑
4. 留回退路径新旧方案并行一段时间，指标口径统一，出问题能快速切回去

各家模型在训练侧的能力边界、价格和可用规格会变，拿不准的时候不要凭印象，到站内的模型资料库和价格追踪页面核对当时的数字，再决定哪条路线的外部依赖成本更低。