开源模型部署测算

DEPLOY部署测算

把开源模型的量化档位换算成权重显存需求，逐档给出上游推荐卡型、折算总显存与是否够用的判断，并与本站加速卡规格库联动列出可承载的卡型。用来决定「这个模型我到底要买几张什么卡」。

数据日期 2026-11-05 19:56 收录时点 2026-11-02（北京时间）

当前收录 50 个开源权重模型、覆盖 28 个厂商家族、共 166 条量化档位记录。门槛最低的一档是 LFM2.5-2.6B 的 AWQ INT4（激活感知权重量化），权重常驻显存仅需 1.4 GB；其中 26 条档位能塞进 24GB 以内的单张消费级显卡。

开源模型 50 当前筛选后显示 1 个

量化档位记录 166 含全精度 / FP8 / INT4 / GGUF 各档

厂商家族 28 按上游 family 字段归并

最低权重显存 1.4 GB LFM2.5-2.6B · AWQ INT4（激活感知权重量化）

≤24GB 单卡可跑档位 26 对照 RTX 4090 / 3090 级别

筛选同时作用于模型卡片与下方量化档位表

家族量化档位单卡门槛排序清除条件

量化档位分布

全站 166 条档位记录

档位越靠左，精度越高、显存越高

全精度 / 原生精度 42 条档位记录

8 比特 39 条档位记录

4 比特 72 条档位记录

低比特 / 实验性 6 条档位记录

厂商原生格式 7 条档位记录

开源模型卡片

显示 1 / 50 个

参数量并列时按「激活 / 总参数」，MoE 模型两者差别很大

dots3-note Preview

Xiaohongshu · 2026-08 · dots3-note-prev

Apache-2.0

参数量（激活/总）: 16B / 280B
上下文窗口: 524.3K tokens
量化档位数: 4
最低权重显存: 150 GB

文本视觉音频工具调用函数调用

Rare combination of Apache 2.0, omni-modal input (text, image, video, and audio), and a 512K window. 280B total with 16B active, trained with TEMPO reinforcement learning. Still…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

各量化档位显存需求

显示 4 条

「显存判断」= 权重显存 vs 上游推荐配置的折算总显存

开源模型各量化档位的权重显存需求与推荐卡型
排名	模型	量化档位	权重显存	质量保留	推荐卡型与折算显存	显存判断	余量	可单卡承载	权重来源
1	dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08	AWQ INT4（激活感知权重量化）	150 GB	95%	2× H200（合计 282 GB）	显存够用	余量 46.8%	B200 180 GB、MI300X 192 GB、MI325X 256 GB	权重 →
2	dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08	GGUF Q4_K_M	160 GB	93%	2× H200（合计 282 GB）	显存够用	余量 43.3%	B200 180 GB、MI300X 192 GB、MI325X 256 GB	权重 →
3	dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08	FP8（8 比特浮点）	295 GB	99%	4× H200（合计 564 GB）	显存够用	余量 47.7%	GB200 (Blackwell) 372 GB、MI455X 432 GB	权重 →
4	dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08	FP16 / BF16 全精度	575 GB	100%	8× H100-80GB（合计 640 GB）	显存够用	余量 10.2%	单卡放不下，需 5× H200 / 4× B200 / 2× MI355X	权重 →

加速卡规格联动

按「能装下多少条档位」排序

规格来自本站 AI 算力频道的加速卡库（共 26 款）

按单卡显存可承载的量化档位数量排序的主流加速卡
加速卡	厂商	单卡显存	显存带宽	FP16 算力(TFLOPS)	可承载档位数
AMD MI455X	AMD	432 GB	23.3 TB/s	5,030	122
NVIDIA GB200 (Blackwell)	NVIDIA	372 GB	16 TB/s	5,000	117
NVIDIA Rubin (Vera Rubin)	NVIDIA	288 GB	19.2 TB/s	4,000	110
NVIDIA B300 (Blackwell Ultra)	NVIDIA	288 GB	8 TB/s	2,500	110
AMD MI355X	AMD	288 GB	8 TB/s	2,500	110
AMD MI325X	AMD	256 GB	6 TB/s	1,300	106
AMD MI300X	AMD	192 GB	5.3 TB/s	1,300	93
Google TPU7x (Ironwood)	Google	192 GB	7.38 TB/s	2,307	93
NVIDIA B200	NVIDIA	180 GB	8 TB/s	2,500	92
NVIDIA H200	NVIDIA	141 GB	4.8 TB/s	989	76

完整规格（制程、互联、上市时间、参考价）见加速卡规格库 →；整机租用价格见 GPU 租用比价 →。

显存估算口径与边界

只算了权重，没算运行时

已计入：权重常驻显存量化档位权重体积按上游给出的 vramGB 字段直接展示，是估算的唯一实测项

未计入：KV cache与上下文长度 × 并发数成正比经验值：7B 模型 FP16 KV cache 约 0.5GB / 千 token；128K 上下文单条请求就可能吃掉十几 GB

未计入：并发批大小batch size 直接线性放大 KV cache 与激活压测用的 batch=1 数字不能直接当作线上容量

未计入：运行时激活与框架开销CUDA 图、通信缓冲、显存碎片工程上通常再留 10%～20% 余量

未计入：多卡并行的额外成本张量并行的通信缓冲与冗余副本张量并行会额外占用显存，8 卡方案实际可用显存低于标称之和

结论：怎么用这些数字当作「下限」而不是「容量」建议把本页显存 × 1.3～1.5 再对照卡型；长上下文、高并发场景按 2 倍预留

数据说明

资料口径公开渠道汇总开源模型公开目录，加速卡规格来自本站 AI 算力频道

数据日期2026-11-05 19:56上游数据时间 2026-11-02（北京时间）；与上游不一致时以上游为准

显存字段口径权重常驻显存（GB）不含 KV cache、批大小、激活与框架开销，详见上一节

推荐卡型口径上游给出的参考部署配置「Nx 卡型」按本站加速卡规格库折算为单卡显存 × 卡数，仅作参考

常见问题

本页显存数字为什么和实测差很多？

本页只算权重常驻显存，实测还要加上 KV cache、运行时激活、框架预留和显存碎片。7B 模型在 8K 上下文、单并发下通常多占 1～2GB，到 128K 上下文或几十并发时，KV cache 会超过权重本身。把它当下限用，再乘 1.3～1.5 倍做容量规划。

FP16 放不下，是不是就跑不了这个模型？

不是。先降到 FP8（约省一半），再不行用 AWQ INT4 或 GGUF Q4_K_M（约省 3/4）。本页量化档位表里排在后面的档位就是给这种情况准备的。代价是精度损失和（部分格式的）吞吐下降，是否可接受取决于你的任务对错误的容忍度。

AWQ INT4 和 GGUF Q4_K_M 怎么选？

AWQ 走 vLLM / TensorRT-LLM 这类高吞吐服务框架，适合线上 API，但需要 GPU；GGUF 走 llama.cpp / Ollama，能在 CPU 和 Apple Silicon 上跑，适合本地和边缘场景。同样 4 比特，AWQ 的批量吞吐通常更好，GGUF 的部署门槛更低。

「质量保留」百分比能跨模型比较吗？

不能。它是各发布方在自己评测集上给出的相对保留度，评测集、任务和测量方式都不统一，同一个 93% 在不同模型上代表的能力损失差别很大。只能用来在同一模型的多个档位之间做取舍。

多卡方案的总显存等于单卡之和吗？

不等于。张量并行要额外占用通信缓冲和冗余副本，实际可用显存通常低于标称之和的 90%，而且卡间互联带宽不够时吞吐会明显掉。本页「折算总显存」是标称值，只用于粗略判断放不放得下。建议先用 /compute/gpu-rental 按小时租一台验证，再决定是否自建。

量化档位与显存需求取自开源模型公开目录，显存取各量化方式的实测值；推荐卡型为参考建议，最终以实测为准，数据日期 2026-11-05 19:56。