准备训模型的团队去问租卡报价,常拿到一堆计费名词:按卡时、按整机、按小时、包周包月,还有存储和带宽单算,报出来的数字看着不一样,其实口径不同。这篇不讲哪家便宜,只把租算力这笔账拆开:钱花在哪几块、哪些环节最容易白花钱、报价单上要问哪几个问题,让四五人的小团队也能自己算一遍。
准备训模型的团队去问租卡报价,常拿到一堆名词:按卡时、按整机、按小时、包周包月,还有存储和带宽单算。报出来的数字看着差很多,其实多数是口径不同,不是谁真的贵一倍。这篇不讲哪家便宜,只把租算力这笔账拆开:钱花在哪几块、哪些环节最容易白花钱、报价单上要问哪几个问题,让四五人的小团队也能自己算一遍。
看报价之前先记住一件事:租算力的价格不是一个数,是一组数。算力本体只是其中一块,存储、带宽、排队、返工、调试期占卡都在往里加钱。你最后付的总成本,往往比当初看到的单价高出一截,差距就出在这些没被写进海报的地方。想先看行业里各家当前挂出来的口径,到站内价格追踪页面核对当时的数字即可。
先分清计费单位:卡时、整机与时长档
第一件要确认的事,是对方按什么单位收钱。按卡时算,只计单张卡的占用时间;按整机算,会把那台机器上的 CPU、内存、本地盘、机内互联一起打包。同一批卡,这两种口径报出来的单价能差出一截,别直接横向比。
| 计费口径 | 包含什么 | 适合什么场景 |
|---|---|---|
| 按卡时 | 单卡占用时长 | 单机少卡、调试、短任务 |
| 按整机 | 卡 + CPU/内存/本地盘/机内互联 | 多卡满载跑训练 |
| 按小时 | 精确到小时的占用 | 日程不确定的试验 |
| 按天/包周包月 | 长时段打包,通常有阶梯 | 确定要跑多天的正式训练 |
- 问清起租时长:有没有最低消费时长,跑十分钟也要按一小时还是按一天结
- 问清退租粒度:能不能随时释放,释放后计费停在哪一刻
- 问清卡型:是不是同一批卡混着给,混给时按哪档价
- 问清整机口径:整机里那些 CPU 和内存,是不是强制一起买
- 问清长时段档位:包周包月的折扣触发条件是什么
成本由哪几块拼起来
把总成本拆成四块,心里就有底了:算力本体、存储与数据搬运、网络与互联、软件与环境。前一块最显眼,后三块最容易被低估。很多团队预算只算了第一块,结果后三块加起来把总账推翻。
- 算力本体
- 训练卡数量乘以占用时长,按你选的计费口径折算
- 存储与数据搬运
- 数据集存放、checkpoint 反复写盘、跨区传输产生的读写与流量
- 网络与互联
- 多机多卡时的机间带宽和拓扑,决定你能不能把卡真正用满
- 软件与环境
- 镜像准备、依赖安装、调度排队,这些等待时间有的也会计费
存储这块最容易失控。checkpoint 越写越频繁,盘上留的副本越积越多,写盘本身还要占训练时间。带宽则是多机训练的分水岭:机间带宽不够,卡越多等待越久,你付了卡钱却没拿到对应的吞吐。具体各家怎么标存储和流量的价,到站内价格追踪页面看当时的数字。
训练里最烧钱的几个空转环节
空转就是卡在转、钱在走、模型没进步。判断标准很简单:这段时间的卡占用,有没有换回对应的训练步数。换不回来,就是浪费。下面几个环节最常见,按顺序排查。
- 调试期别占贵卡先把数据管道、环境、并行配置在小卡或按量短租上跑通,确认能稳定出步数,再切到贵卡做正式训练;验证方式是看调试任务有没有把显存打满、步数有没有正常增长。
- 拉长 checkpoint 间隔按步数拉开写盘间隔,而不是按固定短时间写;验证方式是统计一次写盘耗时占总训练时长的比例,比例偏高就继续拉长。
- 核对并行度配比加卡之后盯住每秒步数有没有跟着涨,涨不动说明并行策略、批大小或通信没配好;验证方式是固定数据做一次小幅扩容对比。
- 提前确认排队与抢占正式开跑前问清排队策略、是否会被抢占、被抢占后能否续跑;验证方式是看有没有断点续训机制,以及被中断一次的重新启动成本。
这四条里,调试期占贵卡和多机并行度没配对,是四五人小团队最常踩的。前者浪费在开头,后者浪费在整段训练里。判断要不要优化,看一个指标:实际拿到的吞吐,跟你按卡数估算的吞吐差多少。
拿到报价单先问这五个问题
问报价不是砍价,是先把规则问清楚,避免结账时才发现多出几项。下面五个问题按顺序问,对方答得越具体,这笔账越可算。答得含糊的,不一定有问题,但你得把不确定性标出来。
- 计费粒度到底是分钟、小时还是整档,退租那一刻怎么结算
- 存储、带宽、公网出口是不是含在内,超出部分按什么规则收
- 卡是独占还是共享,共享情况下性能波动怎么定义、怎么处理
- 能不能预付锁一段时间的价,涨价前有没有过渡公告期
- 掉卡、机器故障这类不可控中断,计费和补偿怎么算
常见问题
按卡时算,是不是卡越多越划算?
不一定。卡时单价不变时,总价只跟占用时长挂钩,卡多加的是并行度不是折扣。真正要看的是吞吐有没有随卡数同步涨,涨不上去就是白付。建议先用小规模试出扩展曲线,再决定加不加卡。
训练任务断断续续,适合包周还是按时租?
看你的任务能不能连续跑满。能连续占用、且时长超过一个计费档,包时长通常比逐时便宜;如果是调试、断续验证、等数据的状态,按时或按分钟更省。判断标准是平均利用率,长期低于半开的占用,包时长基本亏。
除了卡本身,还有哪些隐藏成本要预留?
存储、跨区流量、公网出口、快照备份这几项在多数平台是单列的。训练越久、checkpoint 越多,存储费占比越高。做法是先看平台的计费说明页,把这几项按你的数据量和保存频率估一遍,别只按卡时报预算。