很多人搜这几个词,是碰上了同一类现场:模型已经能跑,但账单或卡时不对劲,说不清是训练那头拖的,还是日常调用这头烧的。这篇不讲概念科普,先把两笔账分开,再给一份能照着核对的顺序,以及什么情况下这套分法不成立。
搜这几个词的人,通常是碰上了同一个现场:模型已经能跑,账单或者卡时却不对劲。老板问一句「钱花哪儿了」,你看着监控面板说不清楚——是训练那头拖着,还是日常调用那头在烧。这时候需要的不是再背一遍定义,而是先把两笔账拆开。
这篇不给概念科普,直接说怎么分、怎么核。先讲清训练和运营的指标根本不是同一套,再给一份能照着走的核对顺序,最后说说什么情况下这套分法不成立。你自己对号入座就行。
先把两笔账分开:指标根本不是同一套
训练算力看的是「整段任务跑完要多久」,运营算力看的是「每秒能接住多少请求、首字多快出来、单次回答摊多少钱」。同一个模型,这两件事算的完全不是一回事:训练是一次投入,卡跑完就结束;运营是每小时流水,一直在烧。混在一起算,结论必然是错的。
举个常见的误判。有人看到运营侧账单高,第一反应是「模型太大得换小模型」,结果换完发现延迟降了但单次成本没怎么动——真正贵的是超长上下文和重复请求,跟模型大小关系不大。反过来,训练任务慢,有人以为是卡不够,其实是数据加载卡住了,加卡只是多了一批空转的机器。
所以第一步不是分析,是登记。拿一张表,把最近一周的卡时按两栏记:跑训练任务的、对外提供服务的。分不清的别硬猜,单独放第三栏,那栏往往就是漏钱的窟窿。
| 对比项 | 训练算力 | 运营算力 |
|---|---|---|
| 核心指标 | 整段任务完成时间、卡利用率 | 每秒请求数、首字延迟、单次成本 |
| 花钱形态 | 一次投入,跑完即止 | 按小时持续流水 |
| 中断代价 | 高,重跑成本大 | 低,单次请求失败可重试 |
| 扩容思路 | 堆卡换时间,收益非线性 | 先调并发和批处理,再谈加卡 |
| 常见误判 | 卡不够,其实是数据管线慢 | 显存满了,其实是缓存和碎片 |
这张表不是让你背,是让你在登记卡时的时候有个对照。哪一栏的数据你答不上来,那就是下一步要补的地方。
运营算力这头,先查并发和显存占用的匹配
运营侧最常见的误判,是把显存用满当成「卡不够用」。实际用下来,缓存、显存碎片、批处理排队都会占着不放,你把并发降一档,观察几分钟,如果现象消失,那问题就不在卡数上,在调度和参数上。
还有一个更隐蔽的点:输入长度比并发数更吃资源。一个长文档问答场景,按平均长度估容量,上线后一遇到整篇长文就排队。容量要按最坏情况估,不是按平均值估。这一点在评估任何推理服务时都成立,去 按模型和量化档位重新算一遍卡数,比自己拍脑袋靠谱。
- 降并发观察把并发上限降一档,持续观察几分钟,看延迟和报错是否缓解。缓解了说明是调度问题,不是容量问题。
- 按最坏输入重估取业务里最长的那类输入,重新估算单请求的显存和时长,别用平均值。
- 量延迟基线去 量出你这边的首字延迟和吞吐基线,跟服务商的说明对上,差太多先查网络和客户端。
- 最后才谈扩容前几步都排查完仍然不够,再按峰值加卡或者换规格。
训练算力这头,先算清任务边界再谈卡数
训练侧决定卡数的不是模型名,是「你多久要出结果」。期限越紧,越要靠堆卡换时间,但收益不是线性的:卡加到一定数量,通信开销会吃掉新增算力,多机多卡尤其明显。卡加得越多,越要盯通信和同步这一步。
我的建议是先跑小规模试跑,量出单步耗时和卡利用率,再往外推。直接抄别人的配置,十有八九对不上你的数据规模和数据管线。试跑阶段如果发现卡利用率一直上不去,先别加卡,去查数据加载和预处理,那才是瓶颈。
预算口径这块,去 看当时的算力投入参考区间。注意那是参考,不是报价,你的实际花费还取决于中断重跑、试错次数和存储这些周边开销。
这套分法什么时候不管用
微调任务是个灰色地带。它像训练一样要整段跑,又像运营一样反复迭代、频繁重来。我的做法是单列一栏,别硬塞进训练或运营,否则两边的账都算不准。
如果你用的是按量 API 而不是自建卡,运营算力这件事就变成了单价和多渠道比价,跟卡数、并发关系不大。这时候去 和 对当时的数字,比研究显存占用有用得多。
- 微调:单列一栏,别看它像训练就归训练
- 纯 API 调用:转成比价问题,看单价和渠道稳定性
- 数据准备和标注:经常比卡本身更贵,别只盯显卡那一栏
- 混合架构:训练自建、推理走 API,两笔账要分开管
- 突发型业务:先看限流和排队策略,再看容量
最后提醒一句,数据准备和人工标注的成本经常比卡本身更重。很多人核对算力的时候只盯显卡那一栏,结果真正的大头在标注和清洗上,这属于另一个方向的漏算。
下一步把你手上这一周的卡时按训练和运营两栏登记一遍,答不上来的那一栏就是漏钱的地方。容量和成本口径的变化,去价格追踪页面对当时的数字。→常见问题
运营算力和训练算力必须用同一批卡吗
不必,而且多数情况下不该。训练要的是大显存和高速互联,运营看的是并发吞吐和单位成本。分开放能避免训练任务把线上服务挤掉,代价是多一套运维。如果团队小、量也小,共用一批卡并做时间隔离也说得过去。
怎么判断是该扩卡还是该先优化
先量三件事:卡利用率、排队时间、单次回答成本。利用率长期不高但排队很长,问题多半在调度和批处理;利用率高、延迟也高,才轮到考虑加卡。什么都没量就加卡,通常只是把浪费放大。
小团队要不要自己算训练算力
如果只是微调或提示词调优,先把运营侧跑稳更划算。真正需要自己承担训练算力的场景,通常是有稳定数据积累和明确迭代节奏。没有这两样,租卡或按量调用更容易控制风险。