准备买卡或租卡搭推理服务时,最容易犯的错是只问一句「这卡多少钱」。实际上整机、模组、裸卡、整机租赁、按小时租,口径完全不同,报价里含不含税、含不含服务器、保修几年,差一点结果就差很多。这篇给一套拆账顺序:先分清买还是租,再把成本拆成几块,最后告诉你去站内哪几个页面核对当期数字,而不是背一个会过期的价。
准备买卡或租卡搭推理服务时,最容易犯的错是只问一句「这卡多少钱」。实际上整机、模组、裸卡、整机租赁、按小时租,口径完全不同,报价里含不含税、含不含服务器、保修几年,差一点结果就差很多。同样是 L40S 48GB,有人报的是单卡,有人报的是八卡整机,放一起比就会得出错误结论。
这篇给一套拆账顺序:先分清买还是租,再把成本拆成几块,最后告诉你去站内哪几个页面核对当期数字,而不是背一个会过期的价。全程不给具体金额,因为行情会动,给你的是比价方法。
先定买还是租,再谈价格
采购和租赁不是同一道选择题。判断依据主要看两点:使用强度和使用周期。长期满载、跑两年以上,采购摊薄更划算;断续使用、项目制、还在验证模型能不能跑通,先租。别在没定这个前提之前就开始比单价,那样比出来的数字没有意义。
| 场景 | 更合适的方式 | 原因 |
|---|---|---|
| 长期满载、连续跑两年以上 | 采购或整机托管 | 硬件成本可摊薄,资源独享 |
| 项目制、阶段性验证 | 按小时或按月租 | 不用承担硬件折旧与处置 |
| 数据不能出内网 | 采购或专有托管 | 租赁比价基本用不上 |
| 短期峰值、临时扩容 | 按量租裸卡或整机 | 用完即停,避免闲置 |
- 租赁又分两种口径:按小时租裸卡或整机,适合短期峰值;按月包整机,单价通常更低,但要有最低租期。
- 拿不准就用站内「算力从哪买:租卡、按量还是签合同」和「买卡还是租卡:三年账怎么算」两页的方法各算一遍再决定。
- 如果你所在团队连模型能不能跑通都还没验证,先租永远比先买安全。
- 反过来,如果卡买回来三个月都在吃灰,那采购方案再便宜也是浪费。
一台推理服务器的钱花在哪几块
只看卡本身的价格,会严重低估整机成本。一台能跑推理的服务器,钱至少花在四个层面:卡、配套硬件、隐性成本、软件适配人力。每一项都值得单独拉出来问清楚,尤其是模组和整机的区别。
- 卡本身
- 同型号有原厂模组、整机厂预装、二手拆机几种来源,价格和保修差别很大,别只看一个数字。
- 配套硬件
- CPU、内存、主板、电源、机箱、散热、NVMe,卡越贵这部分占比越被低估。
- 隐性成本
- 机房电费与散热、运维人力、备件与故障停机风险,多人团队还要算上闲置时间的浪费。
- 软件侧
- 驱动、推理框架、量化调优的适配工作也要占人力,选卡前先确认你要跑的模型和框架对它支持如何。
一个实用判断标准:把上面四块加总,再除以预计可用的有效卡时,得到「每小时有效算力成本」。这个数字才是横向对比采购和租赁的公共刻度。想核对当期行情数量级,去站内「加速卡规格库」和「算力总览:规格与租用价格」两页看。
租卡时真正要问的几件事
租赁报价单上最容易被忽略的是计费边界。标价看起来低,加上存储、带宽、公网 IP 和关机计费规则之后,真实账单可能完全不同。下面这份清单按提问顺序排列,逐条问完再签。
- 问计费单位与退租规则按小时、按天还是按月,起租时长多久,提前退租怎么算;关机是否仍计费,这点最容易出意外。
- 问交付形态给的是 SSH 容器、独占整机还是共享卡。共享卡的显存和算力会被邻居影响,不能只比标价。
- 问网络与存储带宽、公网 IP、持久化存储是否另收费,做在线推理服务时这部分会真实影响月度账单。
- 问可用性先到站内「想租的卡现在到底有没有货」确认你要的卡型和地区当前是否可租,再去比价。
不适用的情况也要说清楚:如果你的服务有严格的 SLA 和延迟要求,共享卡和按量实例的抖动可能直接不满足,这时候该看的是整机托管或专有实例,而不是继续在低价池里挑。
价格数字去哪看,别背会过期的数
L40S 48GB 的价格会随供需、汇率、渠道和政策变化,任何写死在文章里的数字都会过期。正确做法是:用站内页面建立数量级概念和比价框架,用询价当天的书面报价做最终决策。两者分工明确,不要混。
| 你想知道什么 | 去站内哪个页面核对 |
|---|---|
| 卡规格与参考区间 | 加速卡规格库 |
| 租用价格总览 | 算力总览:规格与租用价格 |
| 不同平台口径对齐 | 算力厂商横向比:先对齐口径 |
| 行情涨跌判断时机 | 租卡现在贵不贵:看租金涨跌 |
| 卡型当前是否有货 | 想租的卡现在到底有没有货 |
- 横向比不同算力平台时,先看「算力厂商横向比:先对齐口径」,确认大家比的是一回事。
- 想看行情涨跌、判断现在是不是下手时机,看「租卡现在贵不贵:看租金涨跌」。
- 比价工具可以用站内「GPU 租用比价」和「算力成本计算器」跑一遍自己的配置。
- 结论:任何报价都以你询价当天的书面报价为准,站内页面用于建立数量级概念和比价框架。
先定形态、再拆成本、最后才看数字;顺序错了,比出来的价一定误导决策。下一步带着这份清单去站内算力价格追踪页对照当期行情,再拿你的配置去询价,比直接搜一个单价靠谱得多。→
常见问题
同样是 L40S 48GB,为什么不同渠道报价差那么多?
多半是口径不同:有的报裸卡、有的报整机;有的含税含运费、有的不含;保修年限、是否原厂模组、是否全新也都不一样。比价前先把这几项对齐,否则差价里有一大半不是你想象的「渠道便宜」。数字去站内加速卡规格库和算力总览页看当前区间,再拿询价单逐项对齐。
我们只有三五个人,做推理服务该买还是租?
先租。团队规模小、调用量还没跑出稳定曲线时,采购等于把钱压在闲置硬件上,而且选错卡型很难回头。建议先用按小时或按月租的方式跑一两个月真实流量,记录卡利用率,再拿这份数据去算采购划不划算。具体三年账的算法可以照着站内「买卡还是租卡:三年账怎么算」那页的表格走。
租卡时最容易踩的账单坑是什么?
关机是否继续计费、超流量怎么算、存储和公网 IP 是否单独收费,这三项最常被忽略。签字前把计费单位、起租时长、退租和关机规则逐条问清并留下文字记录;同时先到站内「想租的卡现在到底有没有货」确认卡型与地区供应情况,避免谈好价格却发现没货。