打算租卡自己跑大模型时，最容易卡在「H100 还是 H200」这一步：两张卡看着都能跑，租金差一截，但到底差在哪、你的模型吃不吃得到这个差距，没人给你算。这篇不讲跑分名次，只给判断顺序——先看你被显存卡住还是被带宽卡住，再决定加钱上 H200 值不值。
打算租卡自己跑大模型，卡在「H100 还是 H200」这一步很常见：两张卡看着都能跑，租金差一截，但差在哪、你的模型吃不吃得到这个差距，往往没人帮你算。这篇不给结论式答案，只给一套判断顺序——先弄明白你是被显存卡住还是被带宽卡住，再决定加钱上新一代值不值。
全文不写死任何数字，涉及规格和成本一律去站内页面对照当时的数值。你要准备的只有三个输入：你的显存占用、你的目标并发、你能接受的首字延迟。这三个量出来，后面每一步都是照着比，不用凭感觉。
先分清两张卡差在哪：显存与带宽
两代卡之间真正影响你体验的差别，集中在显存容量和显存带宽两项，其余算力参数对多数推理场景不是瓶颈。具体差多少不用背，到 /compute/gpus 加速卡规格库逐项核对当时的数字，重点是看这两栏，而不是看一个笼统的「谁更强」。
带宽决定「单次前向能多快把模型权重读一遍」，直接压在首字延迟和吞吐上；显存容量决定「装不装得下」，装不下就只能量化、切分或者加卡。最常见的误判，是把「卡更快」直接等同于「我的任务更快」——批量小、上下文短的场景，带宽优势经常体现不出来。
- 先假设你的瓶颈在卡上，再去验证：把排队调度、网络往返、上游限流排除掉之后再谈换卡
- 容量和带宽要分开算账，混在一起比价容易得出错误结论
- 换卡解决不了调度问题：如果延迟大头在排队和网络，去 /tools/speed-test 先量出你的延迟基线
- 小批量短上下文是带宽优势最难发挥的场景，别默认新卡一定更快
第一步判断：你是被显存卡住，还是被速度卡住
先算你的常驻占用：权重占大头，KV Cache 随并发数和上下文长度线性增长，这两项加起来才是真实需求。测算方法对照 /models/deploy 的部署测算和 /compute/sizing 的「几张卡够用」，把权重和 KV Cache 分开列，别只算权重就下结论。
| 你的表现 | 真实瓶颈 | 优先动作 |
|---|---|---|
| 要降量化档次、要砍上下文长度、并发只能开到个位数 | 显存容量 | 优先解决容量，先看单卡显存更大的型号 |
| 显存宽裕，但首字延迟和吞吐都不好看 | 显存带宽 | 再聊换卡，且要先确认批量足够大 |
| 显存和速度都还行，就是排队久 | 调度与供给 | 换卡没用，去 /compute/availability 看资源 |
| 多人共用一张卡、峰谷明显 | 峰值余量 | 按峰值而不是平均值来选容量 |
量化不是免费的：降一档精度换来的显存空间，可能同时带来质量波动，这个取舍逻辑在 /ai-dict/category/hardware 的硬件名词对照里能查清楚，别把量化当成万能解药。
- 显存明显吃紧，先解决容量，别纠结哪代卡更快
- 显存宽裕但延迟难看，才轮到讨论带宽价值
- 多人共用、峰谷明显的团队，峰值余量比平均占用更重要
- 什么情况下不适用：如果你的任务本身是短请求、低并发，容量和带宽都够用，换卡收益可能接近于零
第二步判断：你的模型规模落在哪个区间
按权重体量粗分三档：小体量单卡容得下、中等体量需要高显存单卡或双卡、大体量基本进入多卡张量并行。每档具体要多少显存，到 /models 模型库和 /compute/sizing 逐项核对当时的数字，别拿这里的分档当成精确门槛。
- 单卡装得下
- 两代卡都能跑，差别主要在吞吐和响应速度，值不值得加钱取决于你的 QPS 目标
- 需要双卡或切分
- 卡间通信会吃掉一部分收益，单卡显存越大往往越省事
- 多卡张量并行
- 少数几张高显存卡可能替代一排小显存卡，运维复杂度反而更低
- 训练或微调
- 判断维度完全不同，走 /compute/training-cost 和 /compute/finetune 的账，别套推理的结论
需要多卡切分的场景有个反直觉点：卡越多，通信开销占比越高，新增卡带来的边际收益会下降。所以在这种场景里，单卡显存更大的那张卡，经常比「多插两张小显存卡」更划算，也更好排查问题。
第三步判断：租金、货期和真实到手成本
别只看单价。把租金、可用时长、是否包电、存储与带宽附加费一起算进总账：租金涨跌对照 /compute/price-index，长期总成本走 /compute/tco，电费别漏，去 /compute/power 单独算一项。只比每小时单价，很容易选到「看着便宜、用起来贵」的方案。
- 先查有没有货想租的型号有没有现成资源，到 /compute/availability 看当时的供给，别在没货的卡上做方案
- 对齐计费口径计费单位、停机是否计费、镜像与数据迁移费用，各家写法不一样，横向比对前先统一口径，见 /compute/providers
- 留降级方案主力卡之外准备一个替代型号，供给紧张时不至于整个项目停摆
- 短期任务走按量几天就跑完的验证任务，按量调 API 往往比租卡省事，分界线见 /compute/platforms 和 /inference 的开源模型比价
一张流程：按这个顺序下决定
- 第 1 步：量需求把显存占用、目标并发、可接受的首字延迟写成三个数字，写不出来就先去 /compute/sizing 和 /tools/speed-test 补齐
- 第 2 步：先看容量装不下就先解决显存，这一步不用纠结哪代卡更快
- 第 3 步：再看速度装得下的前提下，比较两代卡在你的 batch 和上下文长度下的吞吐差，判断这个差价值不值这个租金
- 第 4 步：最后看供给与账查货期、算总成本、留降级方案；拿不准就先用按量跑一轮真实任务
这个顺序的价值在于：它把「选哪张卡」拆成了几个可以分别验证的小问题。你能明确说出自己在第几步卡住，就说明你已经知道该补哪个数据，而不是在一堆参数里来回摇摆。反过来，如果你的三个数字都还没量过，任何选型建议对你都是猜。
选卡的顺序不是比参数，而是先问「我装得下吗」，再问「我快得了吗」，最后才问「我租得起吗」。下一步把你的三个数字带上，去 /compute/sizing 做一次显存测算，再去 /compute/gpus 核对两代卡当时的规格与租金，最后到 /compute/availability 看供给，按第三节的流程走一遍就能落地。→
常见问题
显存装得下，是不是就没必要加钱上更高带宽的卡？
不一定，看你的目标。如果只求能跑、对响应速度没要求，装得下就够了；如果要撑并发、压首字延迟，带宽高的一代在同并发下往往能少几张卡，加的钱可能从卡数上省回来。建议先量出你的延迟基线再比。
模型要不要量化，量化之后还能不能上大卡？
两者不冲突。量化是为了把模型塞进有限显存，换更大显存或更多卡是为了不量化或少量化。一般做法是先按不量化的需求选容量，再根据预算和吞吐目标决定降到哪一档，取舍标准对照 /compute/gpus 与 /models/deploy。
短期跑几天，租卡划算还是直接调 API？
任务周期短、请求量不大时，按量调 API 通常更省事，省掉环境搭建、数据搬运和停机闲置。只有当你要长期高频调用、或者数据不能出内网时，租卡才更容易算得过账，分界线可参考 /compute/platforms 与 /inference。
