很多团队卡在同一个问题上:手上的活说多不多、说少不少,租卡按月付费觉得亏,买卡又怕吃灰。这篇不给你一个拍脑袋的结论,而是给一套能自己代入的算法——先量清自己的真实使用强度,再把折旧、电费、运维和闲置风险折算进去,最后对照几张检查清单做决定。适合正在做第一笔算力投入、或者已经买过一批卡想复盘的人。
有算力需求的团队大多会在同一道题前停住:活不算特别多,但也不能没有卡。租卡按月付费,总觉得像在给别人交房租;买卡又担心任务一停,机器就闲置吃灰。这个纠结本身没问题,问题是用感觉来做决定。下面这套算法是让你把真实使用强度先量化,再把折旧、电费、运维和闲置风险逐项算进去,最后用几张检查清单交叉验证。
它适合正在做第一笔算力投入的团队,也适合已经买过一批卡、想复盘上一轮决策是否站得住的人。整个过程不依赖某个固定报价,因为价格会变、卡的代际也会变,但比对的方法可以重复用。你只需要把自家数据代进去,到站内相关页面核对当时的行情数字就行。
先算清你一年到底用多少小时
第一步不是比价,而是把过去一段时间的任务记录摊开。统计的是真正的算力占用时长,不是「团队一共几台机器在跑」。训练、推理、调试三种负载要分开看,因为它们的占空比差别很大:训练往往几天满负荷,推理是持续低水位,调试则是一阵一阵的。
- 按周统计满负荷天数,区分尖峰和基线。如果一周只有几天跑满,自购的账会被闲置时间拖垮。
- 把等待时间也算进成本:排队等卡、等运维调度、等镜像上传,这些人工成本常被忽略。
- 记录任务的实际并发,而不是机器台数。十台机器轮流跑,和一台机器连续跑,占用小时数完全不同。
- 给未来的增长留一档:如果模型或数据规模预期上升,用当前占用算出的结果要往上修正。
自购的账要把这几条线都摆上桌
很多人算自购只算显卡的购入价,这是最容易出错的地方。真正要摆上桌的是几条长期的线:显存规格、电费散热、运维人力、折旧残值。显存按当前需求配,半年后模型变大就可能顶不住,扩卡还受主板、电源、机柜空间限制,换整机的成本比想象中高。
| 成本项 | 自购要算的 | 租用对应项 |
|---|---|---|
| 购入 | 卡与整机、电源、机柜 | 按量或包机费用 |
| 运行 | 电费、散热、带宽 | 通常含在租金里,核对条款 |
| 人力 | 驱动、故障、备件 | 多数由平台承担 |
| 残值 | 折旧后二手变现 | 无,转为灵活性 |
| 换代 | 旧卡处理与迁移成本 | 换规格即换实例 |
折旧和残值按你自己的财务口径估,别用「能用五年」这种口头假设。电费和散热属于长期支出,贴到办公区还要考虑噪声改造,这些数字去 自购与租用的总账怎么摊(/compute/tco) 对照自己的参数算一遍,别拿网上别人的账本当自己的。
租卡也不是只有单价,先看这几笔
租卡的单价会随供需波动,拿某一刻的报价当长期基准很容易误判。判断贵不贵,要看你签约那段时间的价格水平。到 租卡现在贵不贵:看租金涨跌(/compute/price-index) 对一下当时的行情,看的是走势而不是某一个点。
- 实例被抢占或跨区迁移,会打乱长任务,折算成重跑时间就是钱。
- 数据上传下载的流量与时间成本,长训练尤其要看清楚计费口径。
- 想要专属机器和稳定资源,通常走长约或包机,这时对比对象是包期总支出,不是单价。
- 平台可用性口径要看清楚:承诺的可用时间和实际可调度时间不是一回事。
比单价没有意义,比的是同一段时间里你实际能拿到多少可用算力。
三种典型团队的对照结论
把前面的账算完,多数团队会落到三类里。第一类是小团队、任务断续、模型还在试错期,优先租,把试错成本留在外部。第二类是负载长期满载、数据敏感必须落在自己手里,且有专人管机器,自购更划算,但要按三到五年总账比较,而不是购入价。
第三类也是最常见的中间态:稳定基线放在租的包机上,尖峰用按量补充。别一次性把预算全压在买卡上,混合方案在多数团队身上更稳。但有三类情况这套比较不适用:数据合规要求不出内网、需要断网运行、或者核心诉求是隔离与审计,这时成本退居次要,直接按合规方案走。
- 归类用前面的占用小时数把团队归进断续、满载、中间态之一,归不进去就按中间态处理。
- 算总账自购按三到五年总支出摊,租用按同期包机加按量补充摊,得到可比的总成本。
- 查例外确认是否踩中合规、断网、审计这三条不适用线,踩中就停止成本比较。
一张表把两种方案并排算完
最后落到一张并排表上,左侧列自购的所有支出项,右侧列租用的所有支出项,统一折算成「三到五年总支出 ÷ 同期处理的训练或推理任务量」,得到单任务成本再比较。这样比的是同一口径下的每一份活花了多少钱,而不是谁的机器看起来更便宜。
| 维度 | 自购 | 租用 |
|---|---|---|
| 一次性支出 | 卡、整机、机房改造 | 通常无 |
| 持续支出 | 电、散热、带宽、运维 | 租金或包机费 |
| 闲置风险 | 由自己承担 | 按需启停,风险较低 |
| 扩展灵活性 | 受硬件与空间限制 | 换规格即换实例 |
| 数据控制 | 强,数据在本地 | 取决于平台条款 |
算完之后别急着下结论,做一次敏感性分析:把使用时长上下浮动一档,看结论会不会翻转。如果浮动一点就翻,说明你的决策太依赖某个假设,这时候优先保灵活性。具体行情数字到 租金涨跌页(/compute/price-index) 和 总账页(/compute/tco) 核对当时的值,别把这篇里的方法当成固定结论。
下一步把你团队的真实占用小时数和几项成本代进总账页,再对一下当前租金的走势,十分钟就能得到属于你们自己的分界点。→常见问题
我们一年大概只有几个月在跑训练,其余时间机器闲着,这种情况该买吗?
大概率不该。自购的成本大头是购入与折旧,闲置期间照样在烧钱;断续负载更适合按量租,或者只在确定有连续长任务时租包机。除非你有数据不能出内网这类硬约束,否则先用租的方式把负载跑稳再说。
租卡单价看着比买卡贵很多,是不是长期一定买更划算?
不能直接这么比。租的单价里含了运维、机房、备件和弹性,自购要自己承担这些;而且模型迭代快,买定一批卡后可能很快不够用。正确做法是把两边都折算成三年总支出加上闲置风险,再按任务量摊薄去看,而不是拿月租和购入价比大小。
算出来处在中间地带,有没有折中方案?
有,而且是多数团队的常态:把可预期的稳定负载放在长期包机上,把波动和试错部分用按量补。这样既拿到一定的单位成本优势,又不会因为买了卡用不满而浪费。建议先按这个结构跑一段时间,积累出真实的占空比数据后,再决定要不要加大自购比例。