继续预训练和指令微调训练常见问题:多数人卡在第一步就搞错了

模型与算力

分清继续预训练和指令微调各自治什么病,给出该做哪一步的判断条件、动手前的检查项,以及做砸了怎么回退。

手里有个基座模型,想让它懂你们行业的说话方式,又想让它听话照做。这两件事根本不是一道工序,做反了顺序或者喂错了数据,出来的模型要么还是不听指令,要么把原有能力洗掉。这篇不铺概念,按「先判断该不该做、再做哪一步、出了问题从哪查」的顺序讲,顺带把数据格式和验收标准写清楚。

手里有个基座模型,想让它懂你们行业的说话方式,又想让它听话照做。这两件事根本不是一道工序。顺序做反、数据喂错,结果要么模型还是不听指令,要么把原有能力洗掉一大截。我见过最常见的翻车方式:拿一堆问答对直接倒进继续预训练,跑完发现模型连基本格式都不肯给了,回头还得从头调。

这篇不铺概念。按「先判断该不该做、再做哪一步、出了问题从哪查」的顺序讲。中间把数据格式和验收标准写清楚。看完你至少知道该从哪一格开始动手,以及跑完怎么判断是不是白跑。

先分清你缺的是知识还是听话

先做个简单测试:给模型十个你们行业里最常见的问题,把它的回答原样记下来。如果答不上黑话、专业表述老跑偏,缺的是语料,那是继续预训练该干的活。如果知识答对了,但答非所问、不肯按你要的格式输出,那就是指令微调该管的事。别两种症状混在一起看,先归类再决定动手。

  • 模型不懂行业词、答得外行:补语料,走继续预训练
  • 知识够但输出格式乱、指令当没听见:走指令微调
  • 两个症状同时有:先继续预训练,再指令微调,反着做容易把刚教的格式在第二阶段洗掉
  • 只缺一点点新知识:先试检索增强或把提示词改清楚,训练是最后手段
  • 模型连基本任务都做不对:先换模型,别花时间修

两种训练的数据长得完全不一样

继续预训练喂的是连续长文本,按文档拼成固定长度片段,重点是覆盖面和重复率,别把问答对混进去。指令微调喂的是「指令+输入+期望输出」结构,讲究每条都有明确的任务意图和可判定的答案。这两类数据混用,是很多人卡在第一步的真正原因:拿指令数据去继续预训练,模型学到的不是知识,是格式模板;反过来把长文档塞进指令微调,模型会学成复读机。

检查项继续预训练指令微调
数据形态连续长文本,按片段切指令、输入、期望输出三段式
抽查看什么片段有没有被拦腰截断在关键词中间有没有两条答案互相矛盾
重复处理去掉高度重复的段落同一意图别用同一种句式反复刷
混入禁区别混问答对别塞大段原始文档
量级估算到 /stacks/fine-tuning 对照服务商口径同样去 /stacks/fine-tuning 看当时的参考值

动手前先抽查二十条,比看任何教程都有用。继续预训练看片段有没有在关键词中间被切断,指令微调看有没有两条答案自相矛盾。这二十分钟花下去,能省掉后面一整轮返工。具体要准备多少条、怎么按 token 估算,别拍脑袋,去 /stacks/fine-tuning 核对当时的数字和服务商口径。

训练顺序和每一步的退路

推荐顺序是数据清洗、小样本试跑、看损失曲线、扩量、再合入指令阶段。每一步留一个检查点,别一口气跑到底。实际用下来,最容易出事的是扩量那一步:小样本跑得挺好,一上全量,学习率还是原来的,结果模型直接崩。

  1. 清洗按上面的检查项抽查二十条,确认片段完整、答案不冲突
  2. 小样本试跑取一小份数据跑几百步,记下损失变化,先别动参数
  3. 看曲线损失降得顺不顺;同时拿几条没进训练集的题问它,看回答有没有明显变傻
  4. 扩量确认曲线正常后再上全量,学习率别照搬小样本的
  5. 合入指令阶段继续预训练之后模型可能变得不爱听指令,第二阶段补回来;补不回来说明第一阶段学过头了

回退全靠检查点,所以权重存放位置和命名要提前定规矩。训练中途崩了能接着跑,而不是从头来。命名里带上阶段、数据版本和步数,别用 final、new、最终版这种名字,两周后你自己都认不出来。

怎么算训练成功,别只看损失

损失降了不等于模型变好。准备一份固定的小测题,涵盖原能力、新领域、指令遵循三类,训练前后各跑一遍做横向对照。这三类里任何一类掉得厉害都要停下来看数据,尤其是指令遵循掉分,通常是指令数据配比太低,而不是模型本身不行。

主观题不好判分,可以拿同一个提示词让原模型和新模型各答一遍,人工比对着看,谁更贴题一眼就能看出来。另外训练环境本身的显存、并发和卡数怎么算,参考 /compute/sizing,别在跑起来之后才发现卡不够、批量上不去。

损失曲线是给训练过程看的,小测题才是给结果看的。
下一步先把你现在手里这份数据按上面的检查项抽查二十条,再决定是先补语料还是先调指令;要估数据量和成本,到站内看当时的数字比凭感觉靠谱。

常见问题

继续预训练是不是就是把公司文档全喂进去?

不完全是。文档要先去掉重复、去掉乱码和无关页眉页脚,再按固定长度切片。整篇喂进去会浪费大量算力在重复内容上,而且文档里的表格和目录结构通常会让模型学歪。先抽一部分做个试跑,看模型输出有没有变差再决定要不要全量。

指令微调数据是不是越多越好?

不是。几十条高质量、意图清晰、答案一致的样本,往往比几千条互相矛盾的样本更有效。真正决定效果的是覆盖面和你想要的行为有没有被明确写出来。数据量怎么估可以到 /stacks/fine-tuning 看服务商的参考口径,再结合自己的验收结果调。

两个阶段都做完,模型反而不如原来好用,先查哪里?

先按「原能力、新领域、指令遵循」三类测题分别看是哪一类掉分。指令遵循掉分多半是第二阶段配比不够;原能力掉分往往是第一阶段学过头或者学习率太大;新领域没长进说明数据没切对或者量太少。三类一起掉,优先怀疑数据里混进了脏样本。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。