大模型训练一次注意事项:真正要盯的是开跑前那几天

模型与算力

把「训练一次」拆成开跑前的固定项、跑起来以后才暴露的坑、以及出事时的判断顺序,给一份能照着核对的清单和止损标准。

搜「大模型训练一次注意事项」的人,多半不是要原理,是卡在某一格:脚本能起、卡也租好了,心里没底。这篇不聊架构,只讲开跑前该把哪几件事钉死、跑到一半哪些指标值得盯、什么时候该停。预训练和微调都适用,但侧重不同,文中会说明哪条不适用于你的场景。

搜这个词的人,多半不是想听原理。脚本能起来、卡也租好了、命令行敲下去之后盯着屏幕发愣——心里没底,怕跑了两天发现白跑。这篇就讲这个:开跑前哪几件事必须钉死,跑起来头几个小时看什么,什么时候该按下停止。

先说清范围。「训练一次」在这里指的是从正式开跑到产出一份能拿去评估的权重,中间崩了重来、调了参数重启,这些都算同一次训练的成本。预训练、全参微调、LoRA 微调三种规模,注意事项差得挺远,下面提到的地方我会说明哪条对你不适用。小团队预算紧的时候,真正决定成败的其实是多久能看到一次可评估的产出,不是总步数堆多高。

先说清「训练一次」到底指哪一次

有个常见的错位:有人把「跑完预定步数」当成结束,有人把「loss 降到某个数」当成结束。实际干下来你会发现,真正的节点是「有一份能拿去对比的权重」,之前所有中断重启都算这一次的账。心里按这个口径算成本,估算才不会偏得离谱。

三种规模的差别也值得说一句。预训练动辄多机多卡跑很久,重点是断点策略和存储;全参微调规模小些但显存吃紧,重点是并行配置和精度;LoRA 微调最轻,反而容易在数据质量和评估口径上翻车——因为投入小,大家就不太当回事,跑完发现效果不对,回头查数据版本对不上。清单不能一套通用。

  • 预训练:优先把断点保存间隔、存储容量、多机同步这三样钉死
  • 全参微调:优先核对显存预算、精度设置、并行切分方式
  • LoRA 微调:优先确认数据版本和评估口径,别因为成本低就跳过这两步

开跑前要钉死的四件事,少一件都别按开始

这四件事的共同点是:跑起来之后再补,代价陡增。数据版本号对不上,得从头再来;断点存得太稀,崩一次就是几小时白费。我建议开跑前花半小时逐项过一遍,比跑起来之后手忙脚乱强得多。

数据版本号
训练脚本里写死一个数据集快照标识,跑完要能说清这批权重吃的是哪一版数据;别用「最新」这种会变的引用
显存预算
按参数量、精度、序列长度、batch 与并行策略估一遍,估算方法和入口去 /models/deploy 核对当时的数字
断点策略
多久存一次、存到哪、留几个。存太频繁拖吞吐,太稀经不起一次崩
评估口径
先定好用什么题、谁来判分;不然跑完只能凭感觉说「好像变好了」

断点策略这块值得多啰嗦一句。见过不止一次存储被 checkpoint 塞满、训练进程被系统直接杀掉的情况,比重启机器常见得多。开跑前算一下单个 checkpoint 多大、打算留几个、总盘还剩多少,这个算术比事后排查省事。

  1. 冻结数据版本把当前数据集打一个快照或导出标识,写进训练配置文件;验证方式是跑完后配置里能读到一个不会变的字符串,而不是「latest」。
  2. 估一遍显存按你的参数规模和各维度带入估算,跟 /models/deploy 上的资料对照;验证方式是拿一个小 batch 试跑几步,看显存占用符不符合预期。
  3. 定断点节奏根据单次保存耗时和总盘余量算出合理间隔;验证方式是手动触发一次保存,确认耗时和落盘位置都对。
  4. 写死评估口径选一批固定题目和判分规则,可以先用小样本;验证方式是拿上一版权重先跑一遍,确认这套口径能区分好坏。

开跑头几个小时该看什么,别只盯 loss

loss 曲线前几百步抖是正常的,持续不降或者突然变成一条常数线才值得停。很多人一看到抖动就急着调学习率,结果把本来正常的波动当成故障,改完反而更差。先分清是「正常的早期抖动」还是「真的不动了」,这一点靠看趋势而不是看单点。

更值得看的是 GPU 利用率和显存占用的关系。利用率上不去,瓶颈通常不在卡,而在数据加载或者存储 IO。实际用下来,样本吞吐忽高忽低,十有八九是数据分片不均或者读盘慢,不是并行没配好。

观察项正常表现值得停下排查的表现
loss 曲线前几百步抖动,整体缓慢下降持续不降,或突然变成常数
GPU 利用率稳定在较高区间,波动不大长期偏低,或者单卡明显掉队
样本吞吐基本平稳忽高忽低,间歇性停顿
日志告警零星无伤大雅的提示精度溢出、梯度异常被吞掉

日志这块特别容易漏。有些框架会把精度溢出、梯度异常的告警打在日志里,滚得快就翻过去了。开跑头几个小时把日志过滤一遍,比跑到一半出问题再回头翻省事。

跑到中途最容易翻车的几处

中途翻车大致分四类:存储被写满、参数改动后没对齐、多机多卡里某张卡掉队、脏数据造成的 loss 尖刺。这几类表现不一样,排查顺序也不同。

学习率或 batch 改过之后没重新对齐,是特别隐蔽的一种。前几百步看着正常,后面开始发散,你回去翻配置发现改了个学习率但没同步调预热步数。这种问题不看配置看不出来,只能靠改动记录。

loss 出现尖刺,先别急着调超参。去把出问题那批数据捞出来看一眼,脏样本的概率比你想象的高。找数据比调参数快,也更可能真的找到原因。

什么情况该止损,什么情况值得再等等

止损这件事没有统一标准,但有几种信号比较明确。连着重启两次都卡在同一步,先怀疑数据和代码,而不是继续加卡;卡加得越多,同样的 bug 放大得越快。评估指标在验证集上原地打转、训练 loss 却还在降,通常该调数据或正则,延长时间只是把过拟合拖得更明显。

显存够但吞吐只有预期的一半,先查数据管线再看并行配置。加卡解决不了管线瓶颈,反而让问题更贵。还有一种情况值得说清楚:任务本身目标模糊的时候,上面这些标准都不适用,先停下来把评估口径定清楚,再谈停不停。

跑完之后别急着宣布完成

跑完不等于结束。拿固定的一批题,对比上一版权重和开源基线,看的是任务上的差异,不是总分。总分高不一定在你的场景里好用,这一点做评估的人都有体会。

还有一件事容易被跳过:记录这次的实际用量。卡时、存储、失败次数,下次估算才有依据,参考 /compute/training 上的资料对照。训练配置、数据版本、评估结果三样一起存档,否则三个月后没人说得清这版权重怎么来的。

  • 对比上一版权重和开源基线,看任务差异不看总分
  • 记录卡时、存储、失败次数,作为下次估算依据
  • 训练配置、数据版本、评估结果三样一起存档
下一步开跑前想把显存和并行配置估准,可以直接去站内的部署资料页对照当时的数字,再决定按哪个规模开。

常见问题

训练一次要花多少钱,能不能先估个大概?

可以估,但口径要对齐:卡时费用、存储与流量、失败重跑多出来的那部分。具体数字一直在变,去 /compute/training 和 /compute/tco 看当时的价格再乘。别只算顺利跑完的账,重跑一到两次是常态,预算里要留出来。

显存不够,是不是只能换更大的卡?

先别急。序列长度、batch、梯度累积、并行切分方式都影响占用,很多时候降一档 batch 加大梯度累积就能跑,代价是慢一点。要弄清显存花在哪,去 /models/deploy 按参数和精度算一遍,再决定是省钱还是换卡。

训练中断了能不能直接接着跑?

取决于你之前存了什么。只存权重不够,优化器状态、学习率调度进度、数据迭代位置都得一起存,否则续跑出来的效果会偏。开跑前就把这套定好,中断时才不至于从头再来。

loss 不降就是模型不行吗?

不一定。先排除数据这条路:标签错位、样本被截断、tokenize 出问题,都会表现为 loss 不动。再看学习率和 warmup 是否合理。模型结构的问题通常排在这两件事后面,别一上来就怀疑自己选错了模型。

要不要在训练中途就开始评估?

建议要。按固定间隔在固定的一小批题上评,能早点看出趋势,省掉几天白跑。但别用同一批题反复调参,否则你实际是在那批题上过拟合,最后对外表现会对不上。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。