大模型微调sft需要多久，常见问题和做法

准备做 SFT 的人最容易在两个点上卡住：一是排期时不知道该留多少时间，二是一跑起来 loss 掉得很慢、进度条半天不动，分不清是正常还是配置有问题。这篇不给你一个「多久」的结论，而是把影响耗时的几个变量、粗估的门道和跑起来后的排查顺序讲清楚，让你自己算得出、看得懂。

准备做 SFT 的人排期时最容易犯的错，是先去问「别人跑了多久」，然后按那个数往上加一点。可别人的卡数、数据长度、微调方式和你几乎不可能一样，抄来的时间没有参考价值。真正靠谱的做法是把自己这几个变量摆出来，算一个量级，再留出重来的余量。

另一个坑发生在跑起来之后：loss 掉得慢、进度条半天不动，很多人第一反应是「是不是配错了」，于是停下来改配置，结果白白浪费一轮。这篇分两半讲，前半段说耗时被什么决定、怎么粗估，后半段说跑起来后按什么顺序判断是卡住还是正常。

决定耗时的是这几个变量，不是一个数字

排期前先把下面这张表填一遍，填不出来的格子就是你还没想清楚的地方。填完你会发现，耗时不是一个点，而是一个区间，区间宽度取决于你对数据和流程的熟悉程度。

• 先看训练 token 总量，不要只数样本条数，一条超长样本可能顶几十条短样本；
• 再看是全参还是参数高效方法，这是最粗的那道分水岭，先定这个再谈其他；
• 卡数、卡间通信和 batch 大小共同决定吞吐，加卡前先确认单步时间有没有真降；
• 轮数、checkpoint 保存频率、评测插得勤不勤，都在悄悄吃掉时间，要单独列出来。

怎么给自己粗估一个量级

1. 测单步时间拿几十步的实测耗时除以步数，这个数比任何理论估算都靠谱。测的时候用真实数据，别拿 toy 数据凑。
2. 算总步数训练 token 总量除以（batch 乘序列长度乘卡数）得到大概步数，再乘单步时间就是理论下限。
3. 留重来余量在下限基础上留出可观的余量给数据加载、断点续跑和配置试错。数据已经清洗定型、流程跑过一遍的第二次训练，余量可以压小。
4. 做端到端演练先拿小比例数据跑通全流程，确认数据加载、保存、评测都正常，再上全量。

粗估的价值不在于准，而在于让你提前知道哪一步最可能拖时间。如果你的估算里数据加载占比很高，那优化方向就不是加卡，而是改数据管线和预处理。想对照不同模型规模的大致资源需求，可以到 /models 看模型资料，再到 /tools/speed-test 实测自己环境的吞吐。

跑起来以后：卡住还是正常的判断顺序

进度条不动是最容易误判的场景。按下面的顺序看，从下往上排查，基本能定位到是哪一层的问题。

GPU 利用率

长期偏低多半卡在数据管线，不是算力不够

loss 与梯度范数

有点波动是正常的，一条直线或直接 NaN 要先查学习率和脏样本

checkpoint 写入

大文件落盘会周期性造成停顿，别当成挂了

日志刷新节奏

日志间隔设太长会让人误以为没在跑，先确认日志本身是否在刷

想把时间压下来，动哪几个开关

时间压不下来时，很多人的第一反应是加卡。但加卡有边际递减，而且要先确认瓶颈不在数据侧。更稳妥的顺序是先动序列长度和有效 batch，再考虑参数高效方法和混合精度，最后才是扩卡。每一项压缩都要拿验证集对照质量，掉得多就别硬压。

• 优先从序列长度和有效 batch 上省，这两项对吞吐的影响最直接；
• 参数高效方法和混合精度是性价比最高的几项，但要拿验证集看质量损失；
• 梯度累积可以在显存不变的前提下提高有效 batch，适合显存吃紧的场景；
• 先跑小比例数据做端到端演练，确认全流程通了再上全量，避免全量跑到一半发现配置错。

不同微调方式和硬件组合的耗时差异很大，站内的价格与资源对照页会随行情更新，具体数字到 /price-watch 核对当时的记录，别拿旧截图做排期依据。