做推理卡选型时最容易卡住的不是「L40S 多少钱」,而是不知道该拿什么口径去比:买卡、租卡、按量调 API 是三笔不同的账。这篇把 L40S 的定位、成本构成项、询价时该问的参数列成清单,再给出同级替代方案和判断它不适用的情况,具体数字请到站内对应页面核当时的行情。
做推理卡选型时,最容易被问住的一句是「L40S 多少钱」。但这个问题本身没法直接答,因为买卡、租卡、按量调 API 是三笔完全不同的账,口径不统一就没法比。很多团队拿着一个裸卡的报价去和包月实例对,或者拿整机含服务价去和单卡价撞,最后算出来的数都是错的。这篇不讲具体数字,只讲该拿什么口径去比、哪些成本项容易被漏掉、询价时该问全什么,以及什么情况下这块卡根本不适用。
具体行情随时在动,文中不写死任何价格。你需要任何数字,都到站内对应页面核当时的行情,比如规格对照去 /compute/gpus,租用水平去 /compute/gpu-rental,价格变动方向去 /price-watch。下面按定位、成本构成、询价清单、替代路径四块拆。
L40S 在推理卡里是什么位置
判断一块卡在梯队里的位置,别看宣传词,只看四个维度:显存容量、显存带宽、卡间互联方式、能不能多卡并行。显存容量决定你能装下多大的模型或多少并发,带宽决定单次推理的吐字速度,互联方式决定多卡时会不会被通信拖死。把同档次的几张卡按这四个维度拉到一张表里比,结论自然出来,规格对照到 /compute/gpus 看。
L40S 的强项是通用性:既能跑推理,也能兼顾图形渲染和轻量训练。模型种类杂、任务不单一的小团队,一张卡能覆盖多种活儿,这本身就是价值。反过来说,如果你只跑一种固定模型、并发也稳定,那这份通用性你多半用不上,为此多付的钱就不划算。
报价之外还要算哪几笔
卡价只是整机成本的一部分。整机、供电与散热改造、机柜与网络布线、备件冗余,这几项加起来会把实际单价往上推不少。尤其功耗高的卡,机房如果电力或散热不够,改造费用往往是意外的大头。算电费时口径要统一,到 /compute/power 把功耗和电费换算的方式对齐,别拿待机功耗和满载功耗混着算。
再往下是三年总账。这块最容易被忽略:运维人力、故障更换、以及闲置率。卡买回来跑不满,摊到每次推理上的成本就比租卡贵得多。算账方法到 /compute/tco 看那套完整口径,核心就一句:把持卡总成本除以一年的实际推理量,和你按量付费的单次成本放一起比。
| 成本项 | 买卡自持 | 租用算力 |
|---|---|---|
| 硬件本身 | 一次性支出,占用现金流 | 按小时或按月付,可随时停 |
| 机房改造成本 | 供电、散热、机柜,常被低估 | 通常已含在报价里 |
| 运维人力 | 故障、驱动、监控要自己扛 | 平台侧承担 |
| 闲置风险 | 用不满就是纯折旧 | 不用就不花钱 |
| 长期单价 | 用量大时更低 | 用量大时反而更贵 |
- 先算一年预计推理量,量小就别买卡
- 把机房改造和运维人力折算进去,别只看卡价
- 闲置率按你团队历史用量估,别按理想值算
- 阶段性的量优先租,到 /compute/gpu-rental 看当时的租用水平再定
询价时把这几项问全
- 规格问到底问清单卡显存、显存带宽、功耗与接口形态,并确认是全新、拆机还是整机打包。这四项直接决定能不能装下你的模型。
- 交付与售后问清楚问交付周期、保修年限、是否含税与运费。跨地区采购还要问报关和汇率结算方式,这些都会改总价。
- 统一口径再比价同一份配置至少找三家报,把是否含整机、含服务、含税统一后再比总价。别拿单卡价和整机含服务价直接对撞。
- 看价格趋势再下单先到 /price-watch 看这类硬件近期的价格变动方向,避免在明显的高点出手。
询价单建议做成固定模板,把上面这些字段做成勾选项,谁报的价都往同一个模板里填。这样即使三家报的表达方式完全不同,你也能一眼看出差价到底差在哪一项上,是硬件本身、还是服务、还是税费。
同价位段的替代路径
如果算下来发现自持不划算,或者用量还在波动期,有三条替代路径可以走。选择标准不是哪条更先进,而是哪条更贴你当前的用量曲线和团队能力。
| 替代路径 | 适合什么情况 | 去哪核对 |
|---|---|---|
| 换同档其他推理卡 | 模型显存占用和并发需求很明确 | /compute/gpus 比规格,/compute/gpu-rental 比租价 |
| 不持卡,走算力平台 | 用量波动大、不想养运维 | /compute/providers 看平台对照口径 |
| 直接按量调 API | 只是要用大模型能力,不一定要一块卡 | /official-api 和 /inference 看当时数字 |
判断标准可以简化成一句话:把「一年预计推理量 × 单次成本」和「持卡总成本 ÷ 一年」放一起比,量小的一方通常不该自己买卡。这个结论对多数中小团队成立,但如果你的推理量稳定且很大,自持的单次成本通常会反超租用,这时候再考虑买。
下一步把上面的成本项和询价清单过一遍,再拿着你团队的实际用量去站内价格页核当时的数字,比凭空问一句多少钱靠谱得多。→常见问题
L40S 和同级推理卡比,贵在哪、值在哪?
价差主要来自显存规格、互联能力和供货渠道,而不是单纯的算力高低。值不值取决于你的任务:模型来源杂、要兼顾图形或轻量训练,它的通用性更容易摊平成本;只跑一个固定模型且并发稳定,通常能找到更省的同档卡。具体行情到 /compute/gpus 对规格、到 /compute/price-index 看租金走势。
直接买卡划算,还是租卡划算?
看利用率。全年大部分时间跑满、且任务对延迟和独占性有要求,买卡更容易摊薄;用量有峰谷、或还在验证阶段,租卡省掉闲置成本。做法是把买卡总成本(含电、运维、冗余)除以一年可用小时,再和当时的租用小时价对比,租价查 /compute/gpu-rental。
预算有限,有没有不进硬件的路子?
有。如果目标只是用上大模型能力,而不是必须持有一块卡,按量调 API 前期的现金压力最小,也省掉运维。代价是长期单价可能更高、受平台限速和可用性影响。可以先按 /official-api 的当时价格估一遍用量,再用 /tools/model-cost-calculator 换算成单次任务成本,和持卡方案对照。