关心训练投入的人常卡在同一处:两边都流传着一个「训练花了多少」的数字,但口径完全不同,一个是整轮训练的总盘子,一个是单次实验或单段算力。硬比就会得出离谱结论。这篇不给固定答案,而是把训练成本的几笔账拆开,讲清哪些差异是架构带来的、哪些是采购方式带来的,并告诉你去站内哪几页对当期数据。
关心训练投入的人常卡在同一处:两边都流传着一个「训练花了多少」的数字,但口径完全不同。一个可能是整轮训练的总盘子,包含重跑、调参、数据和人力;另一个可能只是单次实验或某一段算力。硬比就会得出离谱结论,比如「便宜了几十倍」这种说法,多数时候是把口径搞混了。
这篇不给固定答案,而是把训练成本拆成几笔账:算力账、方法账、人力账,讲清哪些差异是架构选择带来的、哪些是采购方式带来的。最后给你一套自己核数字的操作顺序,需要当期数字就去站内对应页面看,别信聊天里转手好几遍的数。
先分清「训练成本」到底在算哪笔账
同样是「训练成本」,至少能分出四种口径。第一种是单次预训练的算力消耗,只算一次跑通的那段;第二种是整轮预训练,含失败重跑、调参、数据清洗;第三种是预训练加后训练与对齐;第四种再把数据采购和人力都算进去。混用口径是误读的根源。
| 口径 | 包含什么 | 常见误区 |
|---|---|---|
| 单次预训练算力 | 一次跑通所需卡时 | 被当成全部投入 |
| 整轮预训练 | 含重跑、调参、数据准备 | 常被漏掉,导致低估 |
| 加后训练与对齐 | 偏好数据、人工标注、评估 | 被算进推理成本里 |
| 加数据与人力 | 团队薪酬、数据采购 | 极少公开,只能粗估 |
看一个公开数字时,先找它声明了什么、没声明什么。判断标准很简单:两个数字能不能直接比,取决于它们的截止点是否一致。截止点不一致,就只能比量级,不能比倍数。这条不适用于只想问「哪家模型更强」的读者,那是另一个问题。
算力账:卡数、时长与用卡方式是主要变量
训练算力大致等于卡数乘时长再乘有效利用率。两边的差距往往不在卡的总数,而在单卡价格和集群利用率。利用率低,同样的卡数就要跑更久;单价高,同样的时长就贵一截。所以看到总额之前,先看卡型和时长。
- 先看训练时长与卡型,这决定了算力底数
- 再看它用的是采购价还是租金价,自购和按需租用差一大截
- 然后看集群利用率,重跑多、掉卡多都会抬高实际消耗
- 最后才看总额,并且确认它对应的是哪种口径
- 需要当期算力单价,到 /compute/training-cost 与 /compute/gpus 核对
这里有个不适用的情况:如果对比的一方把推理成本也折进「训练成本」,那就不是同一类账,结论没有可比性。遇到这种就先拆开,再回到上面的顺序重新看。
方法账与人力账:架构选择会放大或缩小差距
训练方法上的取舍,比如专家混合、稀疏激活、蒸馏、数据配比,会直接改变达到同等效果所需的总算力。这是量级差异的主要来源之一,也是很多对比里被忽略的一层。只盯硬件预算,很容易把方法带来的差距算成「花钱多少」的差距。
| 账目 | 怎么估 | 容易漏掉什么 |
|---|---|---|
| 算力 | 卡数×时长×利用率 | 重跑与掉卡损耗 |
| 方法 | 同等效果所需总算力 | 架构与数据配比的影响 |
| 人力 | 团队人数×周期 | 数据清洗与评估投入 |
| 数据 | 采购或自建成本 | 清洗与标注的重复开销 |
人力不能直接换算成大模型账单,但一个团队的月成本可以按人数与周期粗估,作为「非算力部分」的参照。一家 5 人小团队做微调和一家大团队做预训练,人力占比完全不同。判断标准:只比算力、不认方法与人力的对比,结论通常偏乐观。
想看两家的模型规格与训练相关条目,去 /models 和 /training 确认可比范围。注意不同时期的条目口径可能变过,别拿旧条目当当期依据。
自己核数字的操作顺序
- 记来源把每个数字的来源方、发布时间、声明口径写成一行备注,避免转手后失真
- 统口径把两个数字统一到同一口径:是否含后训练、是否含人力、用采购价还是租金价
- 只写量级统一不到同一口径时,只写「量级不同」,不写具体倍数,写倍数就是给自己挖坑
- 查当期数需要当期数字时,去 /price-watch 看价格变动,去 /official-api/providers/deepseek 与 /official-api/providers/openai 看官方口径页
- 留失效条件结论落地前留一句「口径变化则结论失效」,方便下次复用,也方便别人审你的对比
这套顺序的好处是,你不用记住任何具体数字,只要记住「先对口径、再对量级、最后对当期页」。数字会变,判断方法不会。两个数字口径不一致时,任何精确结论都是伪精确。
训练成本能不能比,先看口径对不对;口径不对,比出来的倍数没有意义。下一步想知道当期两家的官方价格与模型条目,去 /price-watch 和 /models 对一遍当时的数字,再用上面的步骤自己走一遍核对流程。→
常见问题
为什么两家的训练成本总被说成差很多倍?
多数情况是口径没对齐:一边算的是单次预训练那一段算力,另一边算的是整轮投入含重跑、数据和人力。把两者放在一起比,倍数会被放大。先统一口径再谈差距,只统一不了就只讲量级。
我是做产品选型的,需要关心训练成本吗?
多数场景不需要。训练成本是厂商的一次性投入,你的账在按量价、订阅价和额度上。只有当你在评估供应商稳定性、长期价格走向,或者自己打算训模型时,训练投入才值得花时间。日常选型先看 /official-api 和 /usage。
想自己估一个训练预算,从哪几项开始?
按卡数、训练时长、有效利用率、卡型单价四项先乘一遍,得到纯算力账;再按比例加上数据清洗、重跑试错和人力三块。第一次估建议留出较大冗余,真实投入通常高于纸面计算。可参照 /compute/tco 的三年账方法。