deepseek 模型训练一次怎么排查,先看卡的利用率再看日志

模型与算力

训练跑不动、跑得慢或者中途报错时,按显存、数据、并行配置三层顺序排查,给出每一步该看什么、什么情况下不用查。

搜「deepseek 模型训练一次怎么排查」的人,通常已经踩在坑里了:任务起了没几步就 OOM,或者 loss 死活不动,或者日志满屏 warning 不知道哪条致命。这篇不铺概念,给一条从启动到收敛的排查顺序,说清先看哪、后看哪、哪一步其实可以直接跳过。参数数字不在正文写死,去站内对应页面现查。

搜这个问题的人,多半已经卡住了:任务起了没几步就 OOM,或者 loss 死活不动,或者日志里 warning 刷屏但不知道哪条才致命。这时候最怕的是瞎翻日志,翻两小时发现方向就错了。先花两分钟归类,比什么都强。

下面给一条从启动到收敛的排查顺序,说清先看哪、后看哪、哪一步可以直接跳过。参数和显存占用的具体数字不在正文写死,随时会变,去站内对应页面现查。

先分清是根本起不来,还是起来了不对劲

这两类问题的入口完全不同。起不来,是启动阶段就崩,报错通常发生在加载权重、初始化并行组、第一次前向之前;起来了不对劲,是进程活着但表现异常,比如 loss 曲线平了、吞吐掉了一半、显存随着步数一点点往上爬。先把属于哪类定下来,再决定翻哪段日志。

现象大概率在哪一层先看什么
启动报错退出权重路径、并行切分参数卡数和张量并行度对不对得上
第一步就 OOM切分策略、单条样本长度显存是启动瞬间就顶满,还是第一次前向才顶满
跑了若干步才 OOM序列长度、batch、缓存显存随时间爬升的斜率
loss 不动或抖动学习率、warmup、数据样本有没有被正确读进来

显存这层:涨在哪里,什么时候涨

启动就 OOM 和跑到某步才 OOM 是两回事。前者基本是切分策略的问题,模型切得不够、卡没用满、并行配置和实际卡数对不上,这几种占大头;后者多半和序列长度、batch、或者某些缓存随着步数累积有关。分清这一点,能省掉一半的试错。

把显存拆成三块看:权重、优化器状态、激活值。哪块超了,对应的动作不一样。权重超了就加卡或者换切分方式;优化器状态超了,考虑把优化器分片;激活值超了,开重算或者降 batch 最直接。梯度累积能救 batch 太小,但救不了单条样本过长这件事,这点容易搞混。

  • 先打印每一步的显存占用,看是台阶式上升还是线性爬升
  • 台阶式多半是数据侧某类长样本触发的,线性爬升要怀疑缓存没释放
  • 单条样本长度超过预期时,先截断或换 packing 策略,别急着加卡
  • batch 调不动了再考虑梯度累积,顺序反了会白折腾

数据和 loss:不降不一定是模型的问题

loss 不降,第一反应往往是模型或超参,但实际用下来,数据管线的问题占比不低。样本有没有被正确读进来、长度分布什么样、截断比例多少,这三个先打印出来看。截断比例高得离谱,说明预处理和预期不一致,loss 自然学不动。

loss 平在小数点后几位,常见于学习率或 warmup 设错,跟模型能力没关系。另一个容易忽略的点是训练集和验证集要同步看:训练降、验证不降,就是过拟合信号,继续加步数只是浪费算力。两个都平,才回头查模型和优化器。

  1. 打印样本长度分布跑一个 epoch 的统计,看截断比例和最长样本,和预处理时的预期对一遍
  2. 核对学习率和 warmup确认实际生效的值和配置文件里写的一致,改过配置没重启是常见误判
  3. 训练集验证集一起看两条曲线分叉就停,别再加步数;两条都平再查模型层

哪些情况其实不用排查

只是比预期慢一点,但显存稳定、loss 正常下降,这种情况先别怀疑模型层。八成在数据加载上:worker 数不够、预处理在线做、磁盘读得慢,都会让卡空转。把数据管线的吞吐单独测一下,比翻训练日志快。

还有一种情况是变量太多。单卡小规模微调都还没跑通,就直接上多机多卡,问题会被放大成十种,日志里全是噪声。先退回单机小规模复现,把问题压到一个可控范围里。换框架、换权重格式、换卡这几件事,一次只动一个,否则出了错根本不知道是谁的锅。

下一步显存、并行配置和各模型的资源需求会随版本变化,具体数字到站内模型资料库核对当时的数值,比自己拍脑袋估靠谱。

常见问题

训练一开始就报显存不足,是不是只能加卡?

不一定。先确认序列长度和 batch 是不是比预期大,再看并行切分是否和卡数匹配。很多情况下降 batch 或开激活重算就能跑起来,加卡是最后一步,不是第一步。

loss 一直不动,是不是模型太弱?

先看学习率、warmup 和数据是否正确读入。loss 卡在某个值附近不动,常见原因是学习率偏高、样本被重复读或者标签构造错了,这些都和模型本身能力没关系。

跑了几百步才崩,日志也看不出原因,怎么定位?

记录显存随步数的变化曲线,看是稳定上涨还是某一步突增。稳定上涨通常是缓存或激活没释放,突增则要对照那一步的样本长度和内容去找。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。