微调耗时预测:为何FLOPs估算不准及CatBoost的修正方案

资讯 AI 应用前沿 全文 4338 字 · 约 11 分钟读完 分类算力芯片

在共享GPU集群中,传统的FLOPs估算往往导致调度失误。本文基于272个生产环境微调任务的数据,对比了理论计算与机器学习模型的表现。结果显示,仅考虑算力的估算误差高达12小时以上,而引入评估频率、检查点策略等特征的CatBoost模型将平均绝对误差降至1.71小时。这为更精准的集群资源调度提供了可行路径,揭示了非计算

所属频道 算力与芯片

为什么你的微调任务比FLOPs算出来的要慢

在AI基础设施领域,GPU是最昂贵也最稀缺的资源。对于任何运行共享集群的团队来说,每天都要面对一个核心决策:哪些任务上哪张卡,按什么顺序跑。这个计划的质量,完全取决于对每个任务耗时的预估是否准确。

如果任务提前几小时结束,GPU就会闲置,直到下一个任务被调度进来;如果任务推迟几小时,后面排队的实验全部顺延,交付日期随之漂移。更好的时长预估能把这种“猜谜游戏”变成真正的规划:明确跑什么、何时跑、用多少卡,从而减少中间的空窗期。

然而,大多数团队目前使用的估算方法仍然停留在“背面信封”式的FLOPs(浮点运算次数)计算上。公式告诉你需要9小时,结果任务直到第二天下午才跑完。这种偏差不仅令人沮丧,更造成了实质性的资源浪费。

我们想知道这种数学估算到底偏离了多少,以及能否在任务分发前做得更好。为此,我们从生产环境的NVIDIA H200 GPU集群中提取了272个真实的监督微调(SFT)任务,总计约7382个GPU小时,将分析估算值与学习到的预测器进行了对比。

结论很直接:常规的基于FLOPs的估算几乎无法解释我们观察到的现象(R² = 0.31,平均绝对误差MAE为12.41小时)。而一个仅使用分发前可用信息的CatBoost回归模型,在5折交叉验证中达到了R² = 0.98,平均绝对误差为1.71小时,中位误差仅为0.51小时。

这种差距主要来自两个方面:封闭形式的估算无法捕捉训练特定的信号(如评估频率、检查点策略、单卡负载和微调模式),也无法从历史运行中学习这些因素之间的非线性交互作用。

大家都用的估算方法只算了算力

对于稠密Transformer模型,训练成本大致为 $6 \cdot P \cdot D$ 次浮点运算,其中 $P$ 是参数量,$D$ 是训练token数。将其除以GPU能提供的算力,就能得到训练循环的时间:

$$ T_{theoretical} = (6 \cdot P \cdot D) / (N_{GPU} \cdot FLOPS_{peak} \cdot MFU) $$

这里 $N_{GPU}$ 是GPU数量,$FLOPS_{peak}$ 是规格书中的峰值吞吐量,MFU(Model FLOPs Utilization)是训练实际达到的峰值比例。由于内存流量、通信和内核效率低下,真实任务从未在峰值下运行,MFU通常介于30%到60%之间,且特定任务的正确值事先未知。

这很好地描述了优化循环本身。但一个任务不仅仅是它的循环。在第一步之前,还有环境设置、模型下载加载和分词过程。训练期间有周期性评估和检查点上传。最后,最终模型要写入对象存储。在多租户集群上,所有这些环节都要与其他任务争夺网络和存储I/O。

这些开销取决于配置,且不会随工作负载或GPU数量整齐地缩放。两个名义算力相同的任务,完成时间可能相差数小时。

为了保持比较公平,我们测试的FLOPs基线不仅计算训练token,还计入了计划内的评估token,并在宽范围内扫描MFU值。

我们构建了什么

我们将端到端持续时间视为一个监督回归问题。给定一个由任务配置和模型元数据构成的特征向量,预测从任务获得GPU到任务完成之间的墙上时钟时间。排队时间被排除在外。

两个设计原则塑造了这项工作:

  1. 所有信息在分发前已知。 每个输入都来自提交的配置:超参数、数据集大小、模型标识符、GPU分配。没有运行时日志,没有部分进度。这使得预测可用于调度。
  2. 暴露开销的特征。 除了原始配置,我们还衍生出诸如 num_eval_data(所有评估周期中处理的样本数)、num_saves 和 num_params_saved(检查点I/O)以及每GPU token量等数量。FLOPs估算本身(MFU固定为0.45)也作为一个特征(baseline_time)输入,因此模型从纯算力数字开始,学习修正值。

我们比较了线性回归、Ridge、XGBoost和CatBoost。特征选择结合了相关性过滤、互信息和排列重要性,针对18个候选特征集进行筛选,随后以MAE为标准进行网格搜索。最终的CatBoost模型使用了24个特征。

数据来源

  • 272个SFT运行:来自企业生产环境的操作日志,涵盖多个模型家族(最高150亿参数),包括LoRA和全量微调,以及广泛的数据集大小和超参数范围。
  • 共享基础设施:任务在1、2或4个GPU上运行,这些GPU是从跨1到4个节点的8到32个H200池中抽取的,与其他训练和推理工作负载并行。测量的时间包含了真实的资源竞争。
  • 持续时间范围:从1.6小时到172.4小时不等,平均值为23.43小时,中位数为15.29小时。
  • 技术栈:Hugging Face Transformers和Unsloth。我们将技术栈建模为分类特征,不假设两者之间存在固定的加速比。

272次运行的端到端持续时间分布。平均值23.43小时,中位数15.29小时。

结果对比

所有数据均来自分层5折交叉验证。前四行是分析方法,不涉及拟合。

模型 R² RMSE (h) MAE (h)
FLOP基线 (MFU 30%) 0.31 20.45 12.41
FLOP基线 (MFU 45%) 0.18 22.38 13.01
FLOP基线 (MFU 60%) 0.01 24.56 14.62
Calculon −0.51 30.40 20.36
线性回归 0.69 ± 0.14 13.52 ± 4.23 7.52 ± 0.49
Ridge 0.73 ± 0.09 12.72 ± 3.70 7.23 ± 0.68
XGBoost 0.97 ± 0.01 4.18 ± 1.17 1.95 ± 0.32
CatBoost 0.98 ± 0.01 3.52 ± 0.78 1.71 ± 0.33

有几个现象值得注意。

没有任何单一的MFU值能修复FLOPs基线。 我们将MFU从0.25扫描到0.65。最佳设置30%仍然在平均持续23小时的任务上留下了超过12小时的平均误差。

更详细的分析模型并未缩小差距。 作为第二个基线,我们采用了Calculon(Isaev等人,SC '23),这是一种用于LLM训练的先前工作提出的分析性能模型。它构建了明确的层图,并 accounted for 计算、内存流量和设备间通信。我们扩展了公共实现以覆盖LoRA、分组查询注意力、融合注意力、bfloat16和SwiGLU。其估算值仍仅对应于观测墙上时钟时间的中位数的11%。这并不是说Calculon作为步级工具不好——它本来就是为此设计的——但这表明生产任务中有很大一部分发生在优化步骤之外。

线性模型有帮助,但随后停滞。 Ridge将MAE降低到7.23小时。配置与持续时间之间的关系并不能被纯线性模型很好地捕捉。

梯度提升承担了重任。 CatBoost和XGBoost在每个指标上都处于彼此的一个标准差范围内。我们选择CatBoost是因为它在所有指标上的平均误差最低。

预测器依赖什么

CatBoost的特征重要性集中在少数几个特征上。模型和工作负载变量不出所料地存在,但评估和检查点变量也是如此。num_eval_data(任务生命周期中在评估中处理的样本总数)排名第一,其次是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 紧随其后。SHAP值讲述了同样的故事:高评估量始终推高预测时间,而可训练参数量对最大模型才表现出非线性效应。

CatBoost模型在各折中的平均特征重要性(PredictionValuesChange)。

特征重要性不是因果主张。尽管如此,这种模式与任务的实际花费方式相符。评估的频率、评估集的大小以及持久化的检查点数量,都与模型和数据集规模一起塑造了墙上时钟时间。这些往往是人们在编写训练配置时凭习惯做出的选择。

阅读图表时有一个注意事项:较大的GPU分配显示出对预测时间的正向贡献。在我们的数据中,较大的分配伴随着较大的任务,因此 num_gpus 部分充当了任务规模的代理。这并不意味着增加GPU会使任务变慢。

误差有多大,出现在哪里

查看所有272个折叠外预测,中位绝对误差为0.51小时。80%的预测在2.20小时内,90%在4.31小时内。按任务持续时间细分:

任务持续时间 (h) 运行次数 中位绝对误差 (h) P90 (h)
1.56 到 5 60 0.30 1.55
5 到 10 63 0.18 1.27
10 到 30 69 0.73 4.17
30 到 60 67 1.06 5.50
60 到 175 13 5.19 18.51

在60小时以内,中位误差保持在约一小时或更少。长尾部分是模型挣扎的地方,鉴于60小时以上的运行只有13次,我们将此解读为数据限制。

折叠外绝对误差与实际持续时间对比,按持续时间范围着色。误差在60小时内保持低位,在稀疏的长尾部分变宽。

更多数据应该仍然有帮助。在固定的20%保留集上,当从训练分区的85%增加到100%时,MAE从1.63小时下降到1.50小时,没有出现明显的平台期。

它有什么用

在实践中,预测器在任务开始前为调度程序提供了一个可规划的持续时间:哪些任务可以一起运行,GPU何时空闲,以及运行是否能按时完成其截止日期。

局限性

  • 仅限SFT。 我们没有包括其他训练和对齐策略,如RLHF、DPO或RLVR。
  • 单一GPU类型。 每次运行都使用H200。拟合模型是针对该基础设施校准的,如果不重新训练,不应期望其在数值上转移到其他GPU代际。混合池的预测器还需要硬件描述符,如计算吞吐量、内存容量和带宽,以及互连拓扑。
  • 极少超长运行。 60小时以上的误差变大。

可转移的是方法:感知开销的特征、感知多重共线性的选择以及比较协议。完整论文将报告特征公式、选择过程、搜索空间和最终超参数,以便可以在具有类似结构的任何执行日志数据集上重建管道。

接下来的计划:硬件特定描述符和其他GPU类型的验证、少样本配置的迁移学习、其他训练目标,以及更多关于长运行任务的数据。

下一步

完整论文即将发布在arXiv上。关注Hugging Face上的Dharma-AI组织以获取通知,并在下方评论中留下您的问题。我们很想听听您如何在自己的集群上估算任务持续时间。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek收紧免费对话限制引众怒,用户反求收费

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。”随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂

    来源 腾讯网
  2. AMD苏姿丰给出2027年指引:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  3. AMD苏姿丰给出2027年目标:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  4. RadixArk发布DaisyRose-27B:18天强化学习,终端任务通过率翻倍

    RadixArk团队基于Qwen3.8-27B推出了DaisyRose-27B模型。通过自研的Miles框架和高质量数据筛选,团队仅用144张H200 GPU在18天内完成了训练。该模型在Terminal-Bench 4.1上的通过率从5.6%提升至12.0%,且训练成本比开源方案降低57%。文章详细介绍了其数据构建逻

    来源 AI 应用前沿
  5. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  6. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  7. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  8. 14%收益提升,OpenAI用AI造芯,5个月完成人工1年工作量,Astra领跑

    智东西11月19日消息,刚刚,OpenAI宣布,其模型在不到五个月内,将AMD旗舰级GPU IP的PPA(芯片设计核心指标)提升高达14%,这是此前人类工程师约一整年的研发工作量。 OpenAI的研究证明,在RISC-V评估任务中,模型能够探索全新处理器架构;并且在Jalapeño、AMD下一代旗舰GPU与CPU这类成

    来源 AI 行业观察
  9. 英伟达已停止向中国供应H200人工智能芯片

    【TechWeb】11月18日消息,据外媒报道,当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在接受媒体采访时表示,英伟达已不再向中国供应用于人工智能系统的H200芯片。 她表示,英伟达在中国市场的业务约占公司总业务量的10%,主要涉及游戏、汽车和工作站业务。“我们此前曾表示,只有获得出口许可证的H200芯片

    来源 AI 行业观察
  10. 马斯克呛声奥尔特曼:SpaceX 不给 OpenAI 算力,年底冲 120万块 GPU

    人工智能行业的算力江湖近期迎来了一场高层口水战。据媒体报道,随着 SpaceX 在数据中心领域的持续重金投入,其正逐步成长为美国最具潜力的算力租赁商。然而,特斯拉与 SpaceX 首席执行官埃隆·马斯克近日在社交平台上公开表态,明确直言 SpaceX 预计不会向竞争对手 OpenAI 出售任何算力,

    来源 AI 开发者社区
  11. 马斯克:SpaceX 预测不含 OpenAI 收入

    IT之家 11 月 18 日消息,SpaceX CEO 埃隆 · 马斯克出人意料地透露,公司在业务预测中并未考虑来自 OpenAI 的任何收入。此前,OpenAI CEO 萨姆 · 奥尔特曼谈及半导体行业可能重复计算 AI 芯片需求的问题。 两人长期以来一直在 OpenAI 的发展定位上存在分歧。奥尔特曼暗示市场可能存

    来源 AI 行业观察
  12. 马斯克:SpaceX 对 OpenAI 算力销售预计为零

    人工智能算力领域掀起高层口水战。SpaceX持续重金投入数据中心,正成为美国颇具潜力的算力租赁商。马斯克公开表态,SpaceX预计不会向竞争对手OpenAI出售任何算力,并预设未来对其销售额为零。双方还就需求虚高论与产品质疑展开隔空交锋,引发关注。

    来源 AI 产业速递
  13. SpaceX抗住AI抛售潮:摩根士丹利维持增持,目标价300美元

    大摩认为,SpaceX正在与传统的“AI交易”脱钩,背后有三大支撑:星链"类债券"属性(一颗星舰卫星回收期仅20周)、Terafab至2035年高达4900亿美元半导体供应链资本开支、以及估值极度低估——2028年预期市盈率仅11.2倍,远低于标普500的16倍。

    来源 华尔街见闻
  14. 腾讯Q3营收2073.36亿元:AI基建投入加码,企业转用国产芯片提速

    IT之家 11 月 19 日消息,腾讯昨日发布第三季度财报。财报显示,其第三季度实现营收 2073.36 亿元,同比增长 8%;毛利 1159.11 亿元,同比增长 7%;归母净利润为 636.12 亿元,同比增长 0.8%。 据《科创板日报》报道,对于持续增加的 AI 投入,腾讯管理层在业绩会上表示,公司当前资本开支

    来源 AI 行业观察
  15. 特朗普政府再收紧AI芯片渠道:丑闻成了新规推手

    特朗普政府宣布将再度收紧中国获取AI芯片的渠道,而促成这一决定的,竟是一桩被称为“世纪作弊丑闻”的事件。当出口管制靠丑闻驱动、靠打补丁推进,这场芯片战的打法正变得愈发荒诞。本文拆解政策背后的逻辑错位、产业代价,以及真正该被追问的问题。

    来源 AI 科技快讯
  16. 特朗普访华难破AI僵局 自家官员都不看好

    据WIRED报道,美国总统特朗普即将展开访华行程,但即便其政府内部官员也普遍认为,此访难以在人工智能领域取得实质性进展。英伟达相关丑闻的余波持续发酵,使围绕AI芯片出口与合作的谈判变得异常艰难。中美在AI领域的战略互疑与国内政治压力交织,令外交斡旋空间不断收窄。分析人士指出,技术竞争的结构性矛盾,恐怕不是一次

    来源 AI 科技快讯
  17. 黄仁勋辞任后英伟达首份财报:营收1158亿美元,新CEO称中国市场归零

    这是黄仁勋辞去英伟达职务的第七天。 刚刚,英伟达发布2026年第三季度财报(2027财年第三财季),这是公司创始人黄仁勋11月12日辞职后的首份财报,由CFO、临时CEO科莱特·克雷斯(Colette Kress)主持财报电话会。 如果只看财务数字,这依然是全球半导体行业最受关注的一份成绩单。但这一次,市场关注的显然不

    来源 AI 行业观察
向下滚动自动加载更多