微调耗时预测:为何FLOPs估算不准及CatBoost的修正方案
在共享GPU集群中,传统的FLOPs估算往往导致调度失误。本文基于272个生产环境微调任务的数据,对比了理论计算与机器学习模型的表现。结果显示,仅考虑算力的估算误差高达12小时以上,而引入评估频率、检查点策略等特征的CatBoost模型将平均绝对误差降至1.71小时。这为更精准的集群资源调度提供了可行路径,揭示了非计算
为什么你的微调任务比FLOPs算出来的要慢
在AI基础设施领域,GPU是最昂贵也最稀缺的资源。对于任何运行共享集群的团队来说,每天都要面对一个核心决策:哪些任务上哪张卡,按什么顺序跑。这个计划的质量,完全取决于对每个任务耗时的预估是否准确。
如果任务提前几小时结束,GPU就会闲置,直到下一个任务被调度进来;如果任务推迟几小时,后面排队的实验全部顺延,交付日期随之漂移。更好的时长预估能把这种“猜谜游戏”变成真正的规划:明确跑什么、何时跑、用多少卡,从而减少中间的空窗期。
然而,大多数团队目前使用的估算方法仍然停留在“背面信封”式的FLOPs(浮点运算次数)计算上。公式告诉你需要9小时,结果任务直到第二天下午才跑完。这种偏差不仅令人沮丧,更造成了实质性的资源浪费。
我们想知道这种数学估算到底偏离了多少,以及能否在任务分发前做得更好。为此,我们从生产环境的NVIDIA H200 GPU集群中提取了272个真实的监督微调(SFT)任务,总计约7382个GPU小时,将分析估算值与学习到的预测器进行了对比。
结论很直接:常规的基于FLOPs的估算几乎无法解释我们观察到的现象(R² = 0.31,平均绝对误差MAE为12.41小时)。而一个仅使用分发前可用信息的CatBoost回归模型,在5折交叉验证中达到了R² = 0.98,平均绝对误差为1.71小时,中位误差仅为0.51小时。
这种差距主要来自两个方面:封闭形式的估算无法捕捉训练特定的信号(如评估频率、检查点策略、单卡负载和微调模式),也无法从历史运行中学习这些因素之间的非线性交互作用。
大家都用的估算方法只算了算力
对于稠密Transformer模型,训练成本大致为 $6 \cdot P \cdot D$ 次浮点运算,其中 $P$ 是参数量,$D$ 是训练token数。将其除以GPU能提供的算力,就能得到训练循环的时间:
$$ T_{theoretical} = (6 \cdot P \cdot D) / (N_{GPU} \cdot FLOPS_{peak} \cdot MFU) $$
这里 $N_{GPU}$ 是GPU数量,$FLOPS_{peak}$ 是规格书中的峰值吞吐量,MFU(Model FLOPs Utilization)是训练实际达到的峰值比例。由于内存流量、通信和内核效率低下,真实任务从未在峰值下运行,MFU通常介于30%到60%之间,且特定任务的正确值事先未知。
这很好地描述了优化循环本身。但一个任务不仅仅是它的循环。在第一步之前,还有环境设置、模型下载加载和分词过程。训练期间有周期性评估和检查点上传。最后,最终模型要写入对象存储。在多租户集群上,所有这些环节都要与其他任务争夺网络和存储I/O。
这些开销取决于配置,且不会随工作负载或GPU数量整齐地缩放。两个名义算力相同的任务,完成时间可能相差数小时。
为了保持比较公平,我们测试的FLOPs基线不仅计算训练token,还计入了计划内的评估token,并在宽范围内扫描MFU值。
我们构建了什么
我们将端到端持续时间视为一个监督回归问题。给定一个由任务配置和模型元数据构成的特征向量,预测从任务获得GPU到任务完成之间的墙上时钟时间。排队时间被排除在外。
两个设计原则塑造了这项工作:
- 所有信息在分发前已知。 每个输入都来自提交的配置:超参数、数据集大小、模型标识符、GPU分配。没有运行时日志,没有部分进度。这使得预测可用于调度。
- 暴露开销的特征。 除了原始配置,我们还衍生出诸如
num_eval_data(所有评估周期中处理的样本数)、num_saves和num_params_saved(检查点I/O)以及每GPU token量等数量。FLOPs估算本身(MFU固定为0.45)也作为一个特征(baseline_time)输入,因此模型从纯算力数字开始,学习修正值。
我们比较了线性回归、Ridge、XGBoost和CatBoost。特征选择结合了相关性过滤、互信息和排列重要性,针对18个候选特征集进行筛选,随后以MAE为标准进行网格搜索。最终的CatBoost模型使用了24个特征。
数据来源
- 272个SFT运行:来自企业生产环境的操作日志,涵盖多个模型家族(最高150亿参数),包括LoRA和全量微调,以及广泛的数据集大小和超参数范围。
- 共享基础设施:任务在1、2或4个GPU上运行,这些GPU是从跨1到4个节点的8到32个H200池中抽取的,与其他训练和推理工作负载并行。测量的时间包含了真实的资源竞争。
- 持续时间范围:从1.6小时到172.4小时不等,平均值为23.43小时,中位数为15.29小时。
- 技术栈:Hugging Face Transformers和Unsloth。我们将技术栈建模为分类特征,不假设两者之间存在固定的加速比。
272次运行的端到端持续时间分布。平均值23.43小时,中位数15.29小时。
结果对比
所有数据均来自分层5折交叉验证。前四行是分析方法,不涉及拟合。
| 模型 | R² | RMSE (h) | MAE (h) |
|---|---|---|---|
| FLOP基线 (MFU 30%) | 0.31 | 20.45 | 12.41 |
| FLOP基线 (MFU 45%) | 0.18 | 22.38 | 13.01 |
| FLOP基线 (MFU 60%) | 0.01 | 24.56 | 14.62 |
| Calculon | −0.51 | 30.40 | 20.36 |
| 线性回归 | 0.69 ± 0.14 | 13.52 ± 4.23 | 7.52 ± 0.49 |
| Ridge | 0.73 ± 0.09 | 12.72 ± 3.70 | 7.23 ± 0.68 |
| XGBoost | 0.97 ± 0.01 | 4.18 ± 1.17 | 1.95 ± 0.32 |
| CatBoost | 0.98 ± 0.01 | 3.52 ± 0.78 | 1.71 ± 0.33 |
有几个现象值得注意。
没有任何单一的MFU值能修复FLOPs基线。 我们将MFU从0.25扫描到0.65。最佳设置30%仍然在平均持续23小时的任务上留下了超过12小时的平均误差。
更详细的分析模型并未缩小差距。 作为第二个基线,我们采用了Calculon(Isaev等人,SC '23),这是一种用于LLM训练的先前工作提出的分析性能模型。它构建了明确的层图,并 accounted for 计算、内存流量和设备间通信。我们扩展了公共实现以覆盖LoRA、分组查询注意力、融合注意力、bfloat16和SwiGLU。其估算值仍仅对应于观测墙上时钟时间的中位数的11%。这并不是说Calculon作为步级工具不好——它本来就是为此设计的——但这表明生产任务中有很大一部分发生在优化步骤之外。
线性模型有帮助,但随后停滞。 Ridge将MAE降低到7.23小时。配置与持续时间之间的关系并不能被纯线性模型很好地捕捉。
梯度提升承担了重任。 CatBoost和XGBoost在每个指标上都处于彼此的一个标准差范围内。我们选择CatBoost是因为它在所有指标上的平均误差最低。
预测器依赖什么
CatBoost的特征重要性集中在少数几个特征上。模型和工作负载变量不出所料地存在,但评估和检查点变量也是如此。num_eval_data(任务生命周期中在评估中处理的样本总数)排名第一,其次是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 紧随其后。SHAP值讲述了同样的故事:高评估量始终推高预测时间,而可训练参数量对最大模型才表现出非线性效应。
CatBoost模型在各折中的平均特征重要性(PredictionValuesChange)。
特征重要性不是因果主张。尽管如此,这种模式与任务的实际花费方式相符。评估的频率、评估集的大小以及持久化的检查点数量,都与模型和数据集规模一起塑造了墙上时钟时间。这些往往是人们在编写训练配置时凭习惯做出的选择。
阅读图表时有一个注意事项:较大的GPU分配显示出对预测时间的正向贡献。在我们的数据中,较大的分配伴随着较大的任务,因此 num_gpus 部分充当了任务规模的代理。这并不意味着增加GPU会使任务变慢。
误差有多大,出现在哪里
查看所有272个折叠外预测,中位绝对误差为0.51小时。80%的预测在2.20小时内,90%在4.31小时内。按任务持续时间细分:
| 任务持续时间 (h) | 运行次数 | 中位绝对误差 (h) | P90 (h) |
|---|---|---|---|
| 1.56 到 5 | 60 | 0.30 | 1.55 |
| 5 到 10 | 63 | 0.18 | 1.27 |
| 10 到 30 | 69 | 0.73 | 4.17 |
| 30 到 60 | 67 | 1.06 | 5.50 |
| 60 到 175 | 13 | 5.19 | 18.51 |
在60小时以内,中位误差保持在约一小时或更少。长尾部分是模型挣扎的地方,鉴于60小时以上的运行只有13次,我们将此解读为数据限制。
折叠外绝对误差与实际持续时间对比,按持续时间范围着色。误差在60小时内保持低位,在稀疏的长尾部分变宽。
更多数据应该仍然有帮助。在固定的20%保留集上,当从训练分区的85%增加到100%时,MAE从1.63小时下降到1.50小时,没有出现明显的平台期。
它有什么用
在实践中,预测器在任务开始前为调度程序提供了一个可规划的持续时间:哪些任务可以一起运行,GPU何时空闲,以及运行是否能按时完成其截止日期。
局限性
- 仅限SFT。 我们没有包括其他训练和对齐策略,如RLHF、DPO或RLVR。
- 单一GPU类型。 每次运行都使用H200。拟合模型是针对该基础设施校准的,如果不重新训练,不应期望其在数值上转移到其他GPU代际。混合池的预测器还需要硬件描述符,如计算吞吐量、内存容量和带宽,以及互连拓扑。
- 极少超长运行。 60小时以上的误差变大。
可转移的是方法:感知开销的特征、感知多重共线性的选择以及比较协议。完整论文将报告特征公式、选择过程、搜索空间和最终超参数,以便可以在具有类似结构的任何执行日志数据集上重建管道。
接下来的计划:硬件特定描述符和其他GPU类型的验证、少样本配置的迁移学习、其他训练目标,以及更多关于长运行任务的数据。
下一步
完整论文即将发布在arXiv上。关注Hugging Face上的Dharma-AI组织以获取通知,并在下方评论中留下您的问题。我们很想听听您如何在自己的集群上估算任务持续时间。