nvidia a100 gpu 价格

成本与用量

讲清 A100 采购与租用前该问哪些价、按什么口径比,给算力采购团队一份可照着走的询价清单。

要买或要租 A100 的团队,最常卡在同一个地方:拿到的几个报价根本没法直接比——40GB 和 80GB 混着报、SXM 和 PCIe 混着报、时租和包月混着报,最后只能按总数挑最低那个,结果交付时发现带宽、显存形态、网络全对不上。这篇不讲具体数字,只给一套询价前先对齐的口径、比价时该拆的维度,以及一段可以直接照着念的提问清单,让你把报价单换成能横向对比的表格。

要买或要租 A100 的团队,最常卡在同一个地方:拿到的几个报价根本没法直接比。40GB 和 80GB 混着报、SXM 和 PCIe 混着报、时租和包月混着报,最后只能按总数挑最低那个,结果交付时发现带宽、显存形态、网络全对不上。问题不在报价本身,在你没先定口径。

这篇不讲具体数字,行情随时在变,真要数字就去站内核对当时的记录。这里只给一套询价前先对齐的口径、比价时该拆的维度,以及一段可以直接照着念的提问清单,让你把对方发来的报价单,换成能横向摆在一起看的表格。

同样叫 A100,价格差在哪几个变量上

很多人以为 A100 就一种卡,其实同名之下至少有四个维度在各自定价。你手上的报价如果没写清这四件事,基本等于没报。先把变量列出来,再谈谁贵谁便宜。

显存容量与形态
40GB 与 80GB 是两套行情;SXM 板载形态走 NVLink 整机,PCIe 形态走单卡插槽,供货渠道和报价逻辑完全不同
互联与整机配置
单卡、8 卡整机、带 NVSwitch 的机型,单位算力成本不一样;网络是 IB 还是普通以太网,直接决定能不能跑多机训练
交付与占用方式
裸金属独享、容器切分、抢占式实例,同一张卡三种价;预付周期长短也会改变单价
卡的身份与来源
整机全新、二手拆机、云上虚拟化,来源不同,剩余寿命和保修差别很大

判断标准很简单:报价单里这四项只要缺一项,就别急着比总价。缺得越多,越可能是拿低配的价报高配的活。先把缺的补齐,再进入比价环节。

先定买还是租,再谈价格

买和租不是价格高低之争,是占用模式之争。拿不到稳定负载的团队硬买,卡闲置那天起就开始亏;反过来,长期跑满却一直租,也会把可摊薄的成本一直付出去。所以这个问题要在询价之前定,不是拿到报价之后再纠结。

  • 看稳定占用时长与利用率:长期跑满、能自己承担运维,买入的单位成本才可能低于租;间歇性、峰值型需求租更合适
  • 买入侧要把电费、机架、散热、运维人力、故障停机都加进去,别只对比卡的标价
  • 租用侧要把存储、出网流量、镜像与快照是否单独计费算进去,有的报价只含算力不含盘
  • 不确定就先设一个观察期,按真实用量跑一段再决定要不要转长期合同,别凭感觉拍板

这里要说明什么情况下不适用:如果你的负载有明显季节性,或者算法还在快速迭代、随时可能换硬件代际,那买入的沉没风险会盖过成本优势,这种场景直接按租来规划更稳。想算买卡与租卡的三年总账怎么摊,到 /compute/tco 看当时的测算口径。

询价时按这份清单逐条问

下面这份清单的作用,是把不同供应商的报价拉到同一个坐标系里。问的时候别嫌细,对方答不上来的那条,往往就是后面扯皮的地方。可以直接复制去用。

  1. 先问死规格多少 GB、SXM 还是 PCIe、几张卡、卡间互联用什么。答得含糊就先别往下谈
  2. 问计费颗粒度按小时还是按天、不足一个计费单位怎么算、停机期间是否计费、最小起租时长是多少
  3. 问可用性与交付现在有没有货、承诺什么时候能上、故障替换的响应时间、有没有 SLA 兜底
  4. 问附加项存储、镜像、公网流量、快照、备份是否单独收费,超出额度怎么算
  5. 回来对口径到 /compute/gpus 对一遍加速卡规格口径,到 /compute/availability 看这类卡当前有没有货,再到 /compute/platforms 比不同采购方式的差别

一份合格的回复,应该能让你不看原始邮件就填出下节的对比表。填不出来的项,标记为待补,不要用默认值猜。

把报价换成一页可对比的表

比价的关键动作是统一分母。不同周期的报价混在一起,数字再精确也没意义。下表给的是字段结构,具体数字自己往进填,或者到站内对应页面核对当时的行情。

对比字段怎么填为什么重要
折算单价统一折成每卡每小时或每卡每月周期不同直接比会失真
显存/形态多少 GB、SXM 或 PCIe不同行情,不能混排
计费颗粒按小时还是按天、停机是否计费决定实际账单怎么跳
不含项存储、流量、快照单独列漏算会让总价对比失真
报价日期写下当天日期与有效期行情变动快,过期报价只能作参考
  • 同一需求同时问三到四家,横向对照,别只拿一家当锚点
  • 报价口径不一致时,回到上一节的清单逐条补齐,补不齐的直接标注说明
  • 记下报价日期与有效期;行情波动快,旧报价别直接拿去决策
  • 想先看趋势,到 /compute/price-index 看租金涨跌,再决定现在谈还是再等一轮

最后提醒一句:表填完只是候选名单,不是结论。真正下单前,现货、交付时间和故障替换条款这三项,任何一项不达标都可能让最便宜的那张卡变成最贵的那个选择。平时多用 /tools/speed-test 之类工具把实际吞吐打出来,比只看规格表更靠谱。

下一步把这套口径用在你手上的报价单上,再去站内核对当前的租金趋势与供货情况

常见问题

40GB 和 80GB 该怎么选,价格差值得吗?

先看模型装不装得下,再看要不要切分。80GB 单卡能容纳的参数与激活更宽裕,省掉多卡切分的通信开销;如果模型在 40GB 上跑得下、且不需要高带宽卡间互联,选 40GB 通常更省。什么时候不适用:计划后续换更大的模型或做长上下文训练,40GB 很快会成为瓶颈,这时一步到位更划算。

为什么同一张 A100,两家报的价差出一大截?

多半是口径没对齐:显存容量、SXM 还是 PCIe、整机还是切分、独享还是抢占、含不含存储和流量,任一项不同价格就没法直接比。也有渠道因素,比如转售、二手拆机、批量长约。做法是拿同一份询价清单去问,把所有选项填成同一张表,再比数字。

现在到底该买卡还是继续租?

没有通用答案,按占用时长和利用率算。长期稳定跑满、团队有运维能力,买可能更省;需求波动大、要快速试错或扩缩容,租更灵活。别只比标价,把电费、机架、人力、故障停机都算进买入侧。可以先按真实用量跑一段观察期,再决定是否转长期。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。