算力选型器
GPU SIZING要几张卡选一个开源模型和量化档位，直接算出推理要多少显存、需要几张卡、每月租多少钱。显存需求取上游给出的量化实测值，卡型按当月最低租价折算，避免「先说卡型再猜显存」来回试。
规格与报价
2026-10-27 19:00
权重显存按量化实测值 · 租价按当月最低价
权重显存282 GBMixtral 8x22B Instruct · FP16
总显存需求352 GB含 25% 运行时开销 · 1 副本
推荐卡数17NVIDIA RTX 4090 · 线性并行效率 90%
最低月租成本$4,219按每月 730 小时、当月最低价估算
上游推荐配置4x H100-80GB公开来源给出的部署建议，可作起点
按模型与卡型测算
47 个开源模型可选
推荐方案
NVIDIA RTX 4090 × 17
月成本 $4,219 · 每 GB 显存 $12.0/月 · 实时最低 $0.34/小时
显存账单拆解
352 GB
权重 282 GB × 1 副本 = 282 GB，另加 25% 运行时开销（约 70 GB）
不能只看显存
吞吐要自己压测
同样装得下的卡，显存带宽与算力差几倍，出 token 的速度就差几倍。选型先用显存筛掉装不下的，再用实测吞吐定最终卡型。
可选卡型与月成本
6 款有实时报价 / 26 款规格| # | 卡型 | 单卡显存 | 需卡数 | 单卡时价 | 月成本 | 每 GB 显存/月 | FP16 算力 | |
|---|---|---|---|---|---|---|---|---|
| 6 |
NVIDIA RTX 4090NVIDIA · PCIe 4.0 |
24 GB | 17 张 | $0.34/小时 | $4,219 | $12.0 | 165 | 比价 → |
| 4 |
NVIDIA A100 80GBNVIDIA · NVLink 3 (600 GB/s) |
80 GB | 5 张 | $1.19/小时 | $4,343 | $12.3 | 312 | 比价 → |
| 2 |
NVIDIA H200NVIDIA · NVLink 4 (900 GB/s) |
141 GB | 3 张 | $2.29/小时 | $5,015 | $14.2 | 989 | 比价 → |
| 1 |
NVIDIA GB200 (Blackwell)NVIDIA · NVLink 5 (1.8 TB/s) + Grace CPU C2C (900 GB/s) |
372 GB | 2 张 | $5.98/小时 | $8,731 | $24.8 | 5,000 | 比价 → |
| 5 |
NVIDIA H100NVIDIA · NVLink 4 (900 GB/s) |
80 GB | 5 张 | $2.59/小时 | $9,454 | $26.8 | 989 | 比价 → |
| 3 |
NVIDIA B200NVIDIA · NVLink 5 (1.8 TB/s) |
180 GB | 3 张 | $5.98/小时 | $13,096 | $37.2 | 2,500 | 比价 → |
Mixtral 8x22B Instruct 的全部量化档位
4 档| 档位 | 权重显存 | 本方案总需求 | 相对质量 | 上游推荐配置 |
|---|---|---|---|---|
| FP16 当前Multi-GPU | 282 GB | 352 GB | 100% | 4x H100-80GB |
| FP8Production | 145 GB | 181 GB | 99% | 2x H100-80GB |
| AWQ INT4Single-GPU fit | 75 GB | 94 GB | 95% | 1x H100-80GB |
| GGUF Q4_K_Mllama.cpp | 80 GB | 100 GB | 93% | 1x A100-80GB |
常见问题
为什么显存需求不直接按「参数量 × 比特数 ÷ 8」算？
因为那个公式只算权重，且忽略了量化实现差异：MoE 模型激活稀疏、专家权重分布不均、部分格式还带缩放因子与草稿模型。这里直接用上游实测的量化显存值（例如 1.02T 总参数的模型在 MXFP4 下需要 580 GB），比参数量换算更贴近真实占用。
运行时开销默认 25%，该怎么调？
这一项覆盖 KV cache、框架自身占用、显存碎片与通信缓冲。上下文越长、并发越高，KV cache 占比越大：长上下文（≥128K）高并发场景可以调到 40% 以上；短上下文、单并发测试环境 15% 就够。拿不准时先按默认算，再用 nvidia-smi 看实测占用回填。
多卡并行效率为什么要打折？
张量并行会把权重切开、每张卡只需要放一部分，但激活、KV cache 与通信缓冲仍会重复占用，且并行度越高通信开销越大。因此卡数不能简单按「总需求 ÷ 单卡显存」算。默认按 90% 可用显存估算，NVLink 互联的整机可以调高，跨机 PCIe/以太网并行建议调低到 80% 左右。
同一张卡为什么有时是 1 张、有时要 8 张？
因为「需卡数」是相对这个模型和量化档位算的：小模型单卡就够，大模型（尤其是 MoE 与长上下文）需要多卡做张量并行。表里每行都是同一个模型的一个完整方案，横向比月成本才有意义；不同卡型之间对比吞吐，必须用你自己的压测数据。
显存需求取自公开权重数据的量化实测值，租价按当月最低按需价折算；数据日期 2026-10-27 19:00。