手里有个基座模型,想让它懂你们行业的说话方式,又想让它听话照做。这两件事根本不是一道工序,做反了顺序或者喂错了数据,出来的模型要么还是不听指令,要么把原有能力洗掉。这篇不铺概念,按「先判断该不该做、再做哪一步、出了问题从哪查」的顺序讲,顺带把数据格式和验收标准写清楚。
手里有个基座模型,想让它懂你们行业的说话方式,又想让它听话照做。这两件事根本不是一道工序。顺序做反、数据喂错,结果要么模型还是不听指令,要么把原有能力洗掉一大截。我见过最常见的翻车方式:拿一堆问答对直接倒进继续预训练,跑完发现模型连基本格式都不肯给了,回头还得从头调。
这篇不铺概念。按「先判断该不该做、再做哪一步、出了问题从哪查」的顺序讲。中间把数据格式和验收标准写清楚。看完你至少知道该从哪一格开始动手,以及跑完怎么判断是不是白跑。
先分清你缺的是知识还是听话
先做个简单测试:给模型十个你们行业里最常见的问题,把它的回答原样记下来。如果答不上黑话、专业表述老跑偏,缺的是语料,那是继续预训练该干的活。如果知识答对了,但答非所问、不肯按你要的格式输出,那就是指令微调该管的事。别两种症状混在一起看,先归类再决定动手。
- 模型不懂行业词、答得外行:补语料,走继续预训练
- 知识够但输出格式乱、指令当没听见:走指令微调
- 两个症状同时有:先继续预训练,再指令微调,反着做容易把刚教的格式在第二阶段洗掉
- 只缺一点点新知识:先试检索增强或把提示词改清楚,训练是最后手段
- 模型连基本任务都做不对:先换模型,别花时间修
两种训练的数据长得完全不一样
继续预训练喂的是连续长文本,按文档拼成固定长度片段,重点是覆盖面和重复率,别把问答对混进去。指令微调喂的是「指令+输入+期望输出」结构,讲究每条都有明确的任务意图和可判定的答案。这两类数据混用,是很多人卡在第一步的真正原因:拿指令数据去继续预训练,模型学到的不是知识,是格式模板;反过来把长文档塞进指令微调,模型会学成复读机。
| 检查项 | 继续预训练 | 指令微调 |
|---|---|---|
| 数据形态 | 连续长文本,按片段切 | 指令、输入、期望输出三段式 |
| 抽查看什么 | 片段有没有被拦腰截断在关键词中间 | 有没有两条答案互相矛盾 |
| 重复处理 | 去掉高度重复的段落 | 同一意图别用同一种句式反复刷 |
| 混入禁区 | 别混问答对 | 别塞大段原始文档 |
| 量级估算 | 到 /stacks/fine-tuning 对照服务商口径 | 同样去 /stacks/fine-tuning 看当时的参考值 |
动手前先抽查二十条,比看任何教程都有用。继续预训练看片段有没有在关键词中间被切断,指令微调看有没有两条答案自相矛盾。这二十分钟花下去,能省掉后面一整轮返工。具体要准备多少条、怎么按 token 估算,别拍脑袋,去 /stacks/fine-tuning 核对当时的数字和服务商口径。
训练顺序和每一步的退路
推荐顺序是数据清洗、小样本试跑、看损失曲线、扩量、再合入指令阶段。每一步留一个检查点,别一口气跑到底。实际用下来,最容易出事的是扩量那一步:小样本跑得挺好,一上全量,学习率还是原来的,结果模型直接崩。
- 清洗按上面的检查项抽查二十条,确认片段完整、答案不冲突
- 小样本试跑取一小份数据跑几百步,记下损失变化,先别动参数
- 看曲线损失降得顺不顺;同时拿几条没进训练集的题问它,看回答有没有明显变傻
- 扩量确认曲线正常后再上全量,学习率别照搬小样本的
- 合入指令阶段继续预训练之后模型可能变得不爱听指令,第二阶段补回来;补不回来说明第一阶段学过头了
回退全靠检查点,所以权重存放位置和命名要提前定规矩。训练中途崩了能接着跑,而不是从头来。命名里带上阶段、数据版本和步数,别用 final、new、最终版这种名字,两周后你自己都认不出来。
怎么算训练成功,别只看损失
损失降了不等于模型变好。准备一份固定的小测题,涵盖原能力、新领域、指令遵循三类,训练前后各跑一遍做横向对照。这三类里任何一类掉得厉害都要停下来看数据,尤其是指令遵循掉分,通常是指令数据配比太低,而不是模型本身不行。
主观题不好判分,可以拿同一个提示词让原模型和新模型各答一遍,人工比对着看,谁更贴题一眼就能看出来。另外训练环境本身的显存、并发和卡数怎么算,参考 /compute/sizing,别在跑起来之后才发现卡不够、批量上不去。
损失曲线是给训练过程看的,小测题才是给结果看的。下一步先把你现在手里这份数据按上面的检查项抽查二十条,再决定是先补语料还是先调指令;要估数据量和成本,到站内看当时的数字比凭感觉靠谱。→
常见问题
继续预训练是不是就是把公司文档全喂进去?
不完全是。文档要先去掉重复、去掉乱码和无关页眉页脚,再按固定长度切片。整篇喂进去会浪费大量算力在重复内容上,而且文档里的表格和目录结构通常会让模型学歪。先抽一部分做个试跑,看模型输出有没有变差再决定要不要全量。
指令微调数据是不是越多越好?
不是。几十条高质量、意图清晰、答案一致的样本,往往比几千条互相矛盾的样本更有效。真正决定效果的是覆盖面和你想要的行为有没有被明确写出来。数据量怎么估可以到 /stacks/fine-tuning 看服务商的参考口径,再结合自己的验收结果调。
两个阶段都做完,模型反而不如原来好用,先查哪里?
先按「原能力、新领域、指令遵循」三类测题分别看是哪一类掉分。指令遵循掉分多半是第二阶段配比不够;原能力掉分往往是第一阶段学过头或者学习率太大;新领域没长进说明数据没切对或者量太少。三类一起掉,优先怀疑数据里混进了脏样本。