搜「大模型部署算力平台推荐清单」的人,多半已经看过几张排行榜,回到自己项目里还是不知道点哪家。问题不在清单不够长,在于清单回答的是「哪家强」,你要回答的是「我这活该租什么、租多久、出问题谁兜」。这篇给一套能照着走的判断顺序和核对动作,每处该看的数字都指到站内对应页面,不替你拍板,但能让你少走两轮返工。
搜这个词的人,通常已经翻过几篇排行榜了。页面上写着这家强、那家便宜,回到自己项目里还是不知道点哪家。这不怪你,清单回答的是「哪家强」,你要回答的是「我这活该租什么卡、租多久、出了问题谁兜」。两个问题差着十万八千里。
这篇给一套能照着走的顺序:先定卡型和租法,再核供货与计费口径,最后把清单外那几笔容易漏的开销算进去。每个该看数字的地方都指到站内对应页面,我不替你拍板,但能让你少做两轮返工。
先按活儿定卡型,别按榜单定平台
动手选平台之前,先把要部署的东西写成一行:参数量、量化到哪个档位、上下文开到多长。这一行没写清,后面比价全是瞎比——同一张卡,装一个量化过的模型和装原版权重,结论可能完全相反。
推理和微调是两种负载,别混着看。推理主要看显存装不装得下权重加 KV 缓存,微调还得额外算优化器状态和中间激活,显存账本厚不少。有人拿推理的显存结论去规划微调,开机就 OOM,这种返工最冤。
- 把模型、量化档位、上下文长度写成一行需求,团队里谁问都能一句话说清
- 去 /models/deploy 按你的模型跑一遍测算,再到 /compute/sizing 看几张卡够用
- 两个结果对不上,以更保守的那个为准,别挑好看的那个
- 只有一个模型、流量又低,先别按多卡多机规划;单卡够用却被推荐上集群,是最常见的冤枉钱
租法比平台名气更影响总账
按量、包时段、整机长租,是三种完全不同的账。短跑验证用按量,稳定在线才谈长租。麻烦在于不少人把按量单价直接乘上时长,当成长期成本去对比,乘出来的数跟实际账单对不上。
计价口径一定要在下单前问清:按卡时还是按整机时、关机之后是否继续计费、存储和公网流量算不算在内。这几项不写进合同,就会在月账单里突然冒出来。到 /compute/tco 把买卡还是租卡的三年账过一遍,再回 /compute/price-index 看当下租金处在什么位置,两页一起看才有参考价值。只是给人试用、没有稳定并发的话,先去 /inference 看看托管推理,未必需要自己占卡。
| 租法 | 适合什么情况 | 下单前必须确认 |
|---|---|---|
| 按量 | 短跑验证、流量波动大 | 关机是否计费、实例回收策略 |
| 包时段 | 有明确的项目周期 | 时段内是否保证独占、超时怎么算 |
| 整机长租 | 稳定在线、长期占用 | 退订规则、扩容是否同价、存储单独收费吗 |
有货、能连、跑得起来,三关分开验
页面写着可租,不代表你要的卡型和数量当下真有。这事儿麻烦在供货是动态的,今天查得到明天可能就没了。下单前去 /compute/availability 按卡型核一遍,比事后等客服回复快得多。
环境这关最容易栽。镜像里 CUDA 版本、驱动、推理引擎版本三者不匹配,报错信息往往指向别处,能查半天。我的建议是先拉一个最小模型把链路跑通,再上传正式权重;顺序反过来,出问题你分不清是环境还是模型。
- 验供货在 /compute/availability 按卡型和数量查当下可租情况,确认后再走下单流程
- 验环境用最小模型跑通推理,确认驱动和引擎版本匹配,再传正式权重
- 验网络与存储试跑阶段就定好权重从哪拉、数据集放本地盘还是对象存储,别等上线才发现拉不动
- 国产卡单独验去 /compute/domestic 看能租到的型号,再确认推理引擎的适配分支,别假设开箱可用
清单外最容易漏的几笔开销
比价时只看卡时单价,结论经常是错的。排队和重试的成本就容易被忽略:实例被回收、任务中断后重跑,耗的都是卡时。规划时给这类损耗留出余量,别按理论跑满算预算。
迁移成本更隐蔽。换平台要重做镜像、重配环境、重跑验证,频繁换家的团队最后都耗在这上面。选之前先想清楚能不能长期待,别为了当期便宜一点,把后面几周的适配时间搭进去。
- 排队与重试:中断重跑耗卡时,预算里留余量
- 迁移成本:镜像、环境、验证都要重来,先评估能否长期用
- 人力成本:自建集群要有人盯驱动、故障、扩容,一个 5 人小团队往往没这个人力
- 把这几笔折进预算再回头比价,结论常和只看单价时相反
下单前照着走的核对顺序
前面几节讲的是判断标准,这一节是动作。顺序别乱:需求没写清就去比价,等于拿半成品去对答案。缩范围时别一次铺开五家,两三家足够,开最小实例实测比看宣传页有用。
- 写需求模型、量化档位、并发预期写成一页,团队内口径统一
- 缩范围在 /compute/platforms 和 /compute/providers 里按需求筛到两三家
- 实测每家开一台最小实例,用 /tools/speed-test 拿同一套请求量延迟,别信口头承诺
- 列表对比把账单口径、退订规则、故障响应写进一张表,再定长期用哪家
这张对比表不用做得多漂亮,能让你在三个月后回看时知道当时为什么选它,就够了。故障响应那栏尤其别空着,出事时才知道问谁。
下一步把你的需求写好后,先到算力平台目录按卡型和租法筛一遍,再用价格指数核对当下的行情,两页对着看比单看一个排行榜靠谱。→常见问题
清单里列的平台是不是越靠前越该选?
不是。榜单衡量的是综合能力或某一类指标,你的任务可能根本不落在那个维度上。先把自己的模型规模、量化档位、并发预期写清,再回头筛榜单,剩两三家就够试了。榜单靠前但你要的卡型没货,对你等于零。
没有稳定并发,也需要租卡自己部署吗?
多数情况下不用。低频使用、以验证为主的场景,走托管推理或按量调用更省心,省下的不只是钱,还有环境维护的时间。真需要自己占卡的理由通常是数据不能出内网、要做微调、或者对延迟和版本有硬要求。
租之前怎么判断这家靠不靠谱?
分供货、环境、计费三块分别验:先看要的卡型当下有没有货,再开最小实例把模型跑通,最后把计费口径和退订规则问成文字。三块都过了再谈长期。只看首页写的配置和价格,很容易在第二关就卡住。