成本测算
TCO租用 / 自建 / API同一份负载,租卡、自己买卡、直接调 API 三种方式每月各花多少钱?这页用同一套卡数与运行小时口径把三者摆在一起,并给出自建的盈亏平衡点——「跑多久才值得自己买」。
按你的账本测算
三方案同口径三方案明细
NVIDIA RTX 4090 × 8| 方案 | 每月成本 | 成本构成 | 适合的场景 |
|---|---|---|---|
| 租用云 GPU | $1,958.4 | $2.72/小时 × 720 小时 | 需求不稳定、短期项目、想先验证再投入;缺点是长期单价高、资源受厂商库存影响 |
| 自建(买卡) | $766.26 | 采购 $12,800 ÷ 3.0 年 = $355.56/月 + 电费 $410.7 | 利用率长期跑满、数据合规要求私有化、需要长时间独占训练;缺点是资金占用与迭代风险 |
| 调托管 API | $83.17 | DeepSeek V4 Flash 混合 $0.08317/百万 token × 1000 百万 | 流量波动大、不想管运维、模型可用托管版本满足需求;缺点是单价随用量线性增长、能力受托管版本限制 |
盈亏平衡对照
3 款可比卡型| 卡型 | 当月最低租金 | 公开零售价 | 自建固定支出/月 | 自建月成本 | 平衡点 | 判读 |
|---|---|---|---|---|---|---|
|
|
$0.34/卡/小时× 8 卡 = $2.72/小时 | $1,600/卡 | $355.56采购折旧 ÷ 3 年 | $766.26720 小时/月口径 | 165 小时/月 | 当前 720 小时/月已越过平衡点 |
|
|
$2.59/卡/小时× 8 卡 = $20.72/小时 | $30,000/卡 | $6,666.67采购折旧 ÷ 3 年 | $7,282.72720 小时/月口径 | 336 小时/月 | 当前 720 小时/月已越过平衡点 |
|
|
$1.19/卡/小时× 8 卡 = $9.52/小时 | $18,000/卡 | $4,000采购折旧 ÷ 3 年 | $4,369.63720 小时/月口径 | 444 小时/月 | 当前 720 小时/月已越过平衡点 |
折旧年限敏感性
3 / 4 / 5 年| 折旧年限 | 折旧月额 | 自建月成本 | 平衡点 | 相对当前年限 |
|---|---|---|---|---|
| 3 年当前配置 | $355.56 | $766.26720 小时/月 | 165 小时/月 | 基准 |
| 4 年 | $266.67 | $677.37720 小时/月 | 124 小时/月 | −$89 |
| 5 年 | $213.33 | $624.04720 小时/月 | 99 小时/月 | −$142 |
利用率对比
30% / 50% / 70% / 90%| 利用率 | 每月实际运行 | 租用 | 自建 | 调 API | 本月最低方案 | 自建里固定支出的占比 |
|---|---|---|---|---|---|---|
| 30% | 216 小时/月 | $587.52 | $478.77 | $24.95 | 调 API | 74%折旧 + 托管,不随利用率下降 |
| 50% | 360 小时/月 | $979.2 | $560.91 | $41.58 | 调 API | 63%折旧 + 托管,不随利用率下降 |
| 70% | 504 小时/月 | $1,370.88 | $643.05 | $58.22 | 调 API | 55%折旧 + 托管,不随利用率下降 |
| 90% | 648 小时/月 | $1,762.56 | $725.19 | $74.85 | 调 API | 49%折旧 + 托管,不随利用率下降 |
常见问题
盈亏平衡点「小时/月」是怎么算的?
自建每月固定支出(采购价 ÷ 折旧月数 + 机位托管费)除以「租用每小时 − 自建每小时电费」。含义是:每月要跑够这么多小时,自建摊在每小时上的固定成本才低于租金。低于这个数就是租更便宜——因为租用把折旧风险留给了厂商。这也是为什么低利用率的团队不适合自建。
为什么自建每百万 token 成本要我自己填吞吐?
因为同样的卡跑不同模型、不同量化、不同批大小,吞吐能差一个数量级(vLLM 调优前后常见 3–5 倍差距)。用算力峰值反推 token 吞吐会给出一个看起来精确、实际错误的数字,比不给更糟。正确做法:在你自己或候选卡型上跑一次真实压测,把 tokens/s 填进来。
自建就一定比租用省吗?
只有在「长期高利用率 + 卡型不过时」两个条件同时成立时才是。反例很常见:买卡后卡型一年内被新一代替代,折旧还没摊完残值就掉了一大半;或者业务波动导致月均利用率只有 30%。所以这页给的是盈亏平衡点而不是结论——先算小时数,再看你的真实利用率能不能达到。
采购价该填什么?
填你能实际拿到的单卡价格(含税、含整机分摊)。上游公开零售价只是参考:整机渠道价通常低于零售价,而紧缺型号可能高于零售价甚至要求搭售。该卡型上游没有公开零售价时,请直接填你的询价,否则自建方案无法计算。
租金取自公开报价聚合的当月最低按需价,托管单价取各托管商公开报价;报价时间 2026-10-28 12:15。