公告 AiTest123 交流群已开放 欢迎进群交流功能建议、产品想法、数据问题和使用反馈

AiTest123.comAiTest123.comAI 评测与可信度检测平台

开源模型部署测算

DEPLOY部署测算

把开源模型的量化档位换算成权重显存需求，逐档给出上游推荐卡型、折算总显存与是否够用的判断，并与本站加速卡规格库联动列出可承载的卡型。用来决定「这个模型我到底要买几张什么卡」。

数据日期 2026-10-27 19:00 收录时点 2026-10-19（北京时间）

当前收录 47 个开源权重模型、覆盖 27 个厂商家族、共 159 条量化档位记录。 门槛最低的一档是 LFM2.5-2.6B 的 AWQ INT4（激活感知权重量化），权重常驻显存仅需 1.4 GB； 其中 25 条档位能塞进 24GB 以内的单张消费级显卡。

开源模型 47 当前筛选后显示 47 个
量化档位记录 159 含全精度 / FP8 / INT4 / GGUF 各档
厂商家族 27 按上游 family 字段归并
最低权重显存 1.4 GB LFM2.5-2.6B · AWQ INT4（激活感知权重量化）
≤24GB 单卡可跑档位 25 对照 RTX 4090 / 3090 级别

部署条件筛选

筛选同时作用于模型卡片与下方量化档位表

量化档位分布

全站 159 条档位记录
档位越靠左，精度越高、显存越高
全精度 / 原生精度 40 条档位记录
8 比特 37 条档位记录
4 比特 70 条档位记录
低比特 / 实验性 6 条档位记录
厂商原生格式 6 条档位记录

开源模型卡片

显示 47 / 47 个
参数量并列时按「激活 / 总参数」，MoE 模型两者差别很大

LFM2.5-2.6B

LiquidAI · 2026-08 · lfm2.5-2.6b

LFM Open License v1.0
参数量（激活/总）
2.69B
上下文窗口
131.1K tokens
量化档位数
4
最低权重显存
1.4 GB
文本工具调用函数调用

The on-device pick in this catalog: 2.69B dense hybrid convolution plus attention, trained on 34T tokens, running in under 2.5 GB. Post-trained specifically for agentic tool use…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

MiniCPM5-2B

OpenBMB · 2026-09 · minicpm5-2b

Apache-2.0
参数量（激活/总）
2.52B
上下文窗口
131.1K tokens
量化档位数
2
最低权重显存
1.6 GB
文本工具调用函数调用

Dense 2.5B (under 2B non-embedding) with 131K native context, built for local assistants and small coding and tool-use agents. Plain Apache 2.0, and OpenBMB published the…

FP16 / BF16 全精度、GGUF Q4_K_M HuggingFace → 官方页 →

Ternary Bonsai 2 27B

PrismML · 2026-09 · ternary-bonsai-2-27b

Apache-2.0
参数量（激活/总）
27.36B
上下文窗口
262.1K tokens
量化档位数
3
最低权重显存
6 GB
文本视觉工具调用函数调用

PrismML's ternary rebuild of Qwen3.8 27B, released 2026-09-17 under Apache 2.0. Embeddings, attention, MLP, and LM head weights are all -1, 0, or +1 with an FP16 scale per group…

GGUF PTQ1_0（三值）、GGUF PQ2_0（三值）、MLX 2 比特（Apple） HuggingFace → 官方页 →

Phi-4

Microsoft · 2024-12 · phi-4

MIT
参数量（激活/总）
14B
上下文窗口
16.4K tokens
量化档位数
4
最低权重显存
8 GB
文本工具调用

MIT-licensed 14B with strong math performance for its size. Fits in consumer-grade VRAM. Good fit for on-device or edge agents.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Qwen3.8 27B

Qwen · 2026-08 · qwen3.8-27b

Apache-2.0
参数量（激活/总）
27B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
14 GB
文本视觉工具调用函数调用

The download leader of the 2026 open-weight wave at roughly 3.3M pulls a month. Dense 27B native vision-language model taking text, image, and video in, under plain Apache 2.0…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Nemotron 3.5 Lightning 30B-A3B

NVIDIA · 2026-08 · nemotron-3.5-lightning

OpenMDW-1.1
参数量（激活/总）
3B / 30B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
16 GB
文本工具调用函数调用

Hybrid Mamba-2 plus MoE at 30B total and 3B active, shipped as a customization and post-training base rather than a finished assistant. Released under OpenMDW-1.1, an external…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Muse Glimmer 30B

Meta · 2026-08 · muse-glimmer-30b

Apache-2.0
参数量（激活/总）
30B
上下文窗口
131.1K tokens
量化档位数
4
最低权重显存
16 GB
文本视觉工具调用函数调用

Meta Superintelligence Labs' dense multimodal 30B built for always-on local agents on a single consumer GPU, under plain Apache 2.0. SWE-Bench Verified 76.0 and AIME 2026 94.7 at…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Hy-MT2-30B-A3B

Tencent · 2026-05 · hy-mt2-30b-a3b

Apache-2.0
参数量（激活/总）
3B / 30B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
16 GB
文本工具调用

Specialist rather than generalist: an Apache 2.0 machine translation MoE covering 33 languages that follows natural-language translation instructions. 30B total, 3B active, with…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Gemma 3 27B Instruct

Google · 2025-03 · gemma-3-27b

Gemma Terms of Use
参数量（激活/总）
27B
上下文窗口
128.0K tokens
量化档位数
4
最低权重显存
16 GB
文本视觉工具调用多语言

Google open model with native vision. 140 languages. Light fine-tune target; strong base for domain-specific agents.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Granite 4.2 30B

IBM · 2026-08 · granite-4.2-30b

Apache-2.0
参数量（激活/总）
29.3B
上下文窗口
128.0K tokens
量化档位数
3
最低权重显存
17 GB
文本工具调用函数调用多语言

IBM's first Granite generation with native thinking, released 2026-08-25 in 3B, 8B, and 30B dense sizes under Apache 2.0. The 30B is post-trained from Granite 4.1 30B Base with an…

FP16 / BF16 全精度、FP8（8 比特浮点）、GGUF Q4_K_M HuggingFace → 官方页 →

Nemotron 3 Nano 30B-A3B

NVIDIA · 2025-12 · nemotron-3-nano

NVIDIA Nemotron Open Model License
参数量（激活/总）
3B / 30B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
18 GB
文本工具调用函数调用多语言

The workstation entry point. 30B total with 3B active across 128 experts, yet it keeps the full 256K context of its larger siblings. At NVFP4 it runs on a single consumer 24GB…

BF16 全精度、FP8（8 比特浮点）、NVFP4（NVIDIA 4 比特浮点）、GGUF Q4_K_M HuggingFace → 官方页 →

Qwen 2.5 72B Instruct

Alibaba · 2024-09 · qwen-2.5-72b

Qwen License
参数量（激活/总）
72B
上下文窗口
130.0K tokens
量化档位数
4
最低权重显存
40 GB
文本工具调用函数调用多语言

Strong multilingual (29 languages). Solid coding performance. Workhorse alternative to Llama 4 Scout for organizations that prefer dense over MoE.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Llama 3.3 70B Instruct

Meta · 2024-12 · llama-3.3-70b

Llama 3.3 Community License
参数量（激活/总）
70B
上下文窗口
128.0K tokens
量化档位数
4
最低权重显存
40 GB
文本工具调用函数调用多语言

Late-2024 dense Llama. Stronger than Llama 3.1 70B at the same parameter count. Workhorse before Llama 4 Scout arrived in April 2025.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Llama 4 Scout

Meta · 2025-04 · llama-4-scout

Llama 4 Community License
参数量（激活/总）
17B / 109B
上下文窗口
10.0M tokens
量化档位数
5
最低权重显存
50 GB
文本视觉工具调用函数调用

Smaller Llama 4 sibling. 17B active / 109B total. 10M context (industry record). Vision-native. The default open-weights agent choice.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Laguna S 2.1

poolside · 2026-07 · laguna-s-2.1

OpenMDW-1.1
参数量（激活/总）
8B / 118B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
63 GB
文本工具调用函数调用

118B total with roughly 8B active and a full 1M context, positioned as the West's most capable open-weight coding model. Terminal-Bench 2.1 70.2 and SWE-bench Multilingual 78.5…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Leanstral 1.5 119B-A6B

Mistral · 2026-07 · leanstral-1.5

Apache-2.0
参数量（激活/总）
6.5B / 119B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
63 GB
文本工具调用函数调用

Narrow and deep: a Lean 4 theorem-proving and formal-verification agent, not a general assistant. Solves 587 of 672 PutnamBench problems and saturates miniF2F. Low download volume…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Ling-3.0-flash

InclusionAI · 2026-07 · ling-3.0-flash

MIT
参数量（激活/总）
5.1B / 124B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
66 GB
文本工具调用函数调用

Ant Group's 124B hybrid-reasoning MoE with only 5.1B active, alternating Kimi Delta Attention and MLA for production-scale agentic inference. Plain MIT. The 1/64 sparsity is the…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Nemotron 3.5 Super VL 120B-A12B

NVIDIA · 2026-10 · nemotron-3.5-super-vl

OpenMDW-1.1
参数量（激活/总）
12B / 120B
上下文窗口
1.0M tokens
量化档位数
2
最低权重显存
68 GB
文本视觉视频工具调用函数调用多语言

Vision-language successor to Nemotron 3 Super at the same 120B total and 12B active, dated 2026-10-15 on Hugging Face and licensed OpenMDW-1.1 for commercial or non-commercial…

BF16 全精度、NVFP4（NVIDIA 4 比特浮点） HuggingFace → 官方页 →

Nemotron 3 Super 120B-A12B

NVIDIA · 2026-03 · nemotron-3-super

NVIDIA Nemotron Open Model License
参数量（激活/总）
12B / 120B
上下文窗口
262.1K tokens
量化档位数
3
最低权重显存
68 GB
文本工具调用函数调用多语言

The most downloaded model in the Nemotron 3 family and the sweet spot of the catalog: 120B total but only 12B active per token, so throughput tracks a small model while quality…

BF16 全精度、FP8（8 比特浮点）、NVFP4（NVIDIA 4 比特浮点） HuggingFace → 官方页 →

Mistral Medium 3.5

Mistral · 2026-05 · mistral-medium-3.5

Modified MIT
参数量（激活/总）
128B
上下文窗口
256.0K tokens
量化档位数
4
最低权重显存
72 GB
文本工具调用函数调用多语言

Dense 128B hitting 77.6 percent on SWE-Bench Verified, which is frontier-adjacent coding performance at a size that fits on one node. 256K context, larger than Sonnet 4.6. The…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Mixtral 8x22B Instruct

Mistral · 2024-04 · mixtral-8x22b

Apache-2.0
参数量（激活/总）
39B / 141B
上下文窗口
65.5K tokens
量化档位数
4
最低权重显存
75 GB
文本工具调用函数调用多语言

Apache-2.0 MoE; the cleanest open license in the catalog. Older but battle-tested. Strong fit for production deployments where license clarity matters.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Qwen3.8-Flash-Next

Qwen · 2026-08 · qwen3.8-flash-next

Qwen Community 1.0
参数量（激活/总）
6B / 125B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
105 GB
文本视觉工具调用函数调用

Multimodal 125B-A6B MoE with hybrid QSA attention and n-gram embeddings, the Flash tier of the Qwen3.8 line. Only 6B active per token, so it serves far cheaper than its total size…

FP16 / BF16 全精度、FP8（8 比特浮点）、NVFP4（NVIDIA 4 比特浮点）、GGUF Q4_K_M HuggingFace → 官方页 →

Command A+

Cohere · 2026-05 · command-a-plus

Apache-2.0
参数量（激活/总）
25B / 218B
上下文窗口
128.0K tokens
量化档位数
4
最低权重显存
120 GB
文本工具调用函数调用多语言

Apache-2.0 MoE from an American lab, which makes it the cleanest license-plus-jurisdiction combination in the catalog for regulated buyers. Cohere publishes official bf16, FP8…

BF16 全精度、FP8（8 比特浮点）、W4A4（权重与激活均 4 比特）、GGUF Q4_K_M HuggingFace → 官方页 →

Solar Open 2 250B

Upstage · 2026-07 · solar-open2-250b

Upstage Solar License
参数量（激活/总）
15B / 250B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
130 GB
文本工具调用函数调用

250B hybrid-attention MoE with 15B active across 321 experts, trained on roughly 12T tokens for agentic and document-heavy enterprise work. The strongest Korean-language coverage…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

dots3-note Preview

Xiaohongshu · 2026-08 · dots3-note-prev

Apache-2.0
参数量（激活/总）
16B / 280B
上下文窗口
524.3K tokens
量化档位数
4
最低权重显存
150 GB
文本视觉音频工具调用函数调用

Rare combination of Apache 2.0, omni-modal input (text, image, video, and audio), and a 512K window. 280B total with 16B active, trained with TEMPO reinforcement learning. Still…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Hy3

Tencent · 2026-07 · hy3

Apache-2.0
参数量（激活/总）
21B / 295B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
155 GB
文本工具调用函数调用

295B MoE with 21B active plus a 3.8B multi-token-prediction layer. Worth flagging for license reasons: the April preview shipped under a restrictive license carving out the EU…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

DeepSeek V4 Flash

DeepSeek · 2026-04 · deepseek-v4-flash

MIT
参数量（激活/总）
13B / 284B
上下文窗口
1.0M tokens
量化档位数
5
最低权重显存
155 GB
文本工具调用函数调用

Cheap DeepSeek tier and the throughput workhorse of the MIT-licensed open stack. 284B total with only 13B active per token (top-6 of 256 routed experts plus one shared), so…

厂商原生格式、FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化） HuggingFace → 官方页 →

Motif 3

Motif Technologies · 2026-08 · motif-3

MIT
参数量（激活/总）
13.2B / 314B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
165 GB
文本工具调用函数调用

South Korea's sovereign-AI entry at frontier scale: roughly 314B total with 13.2B active, upgraded from a non-commercial preview license to plain MIT on release. SWE-bench…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

GLM-5.3-Flash

Zhipu · 2026-08 · glm-5.3-flash

MIT
参数量（激活/总）
18B / 320B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
170 GB
文本视觉工具调用函数调用

First natively multimodal model in the GLM-5 series and the cheapest plain-MIT path to frontier agentic coding. 320B total with 18B active on a hybrid sparse plus linear attention…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

MiMo-V2.6-Flash

Xiaomi · 2026-09 · mimo-v2.6-flash

MIT
参数量（激活/总）
15B / 309B
上下文窗口
1.0M tokens
量化档位数
1
最低权重显存
180 GB
文本视觉音频视频工具调用函数调用

The efficiency tier of MiMo-V2.6, released alongside the Pro on 2026-09-21: 309B total with 15B active across 256 routed experts, the same text, image, video, and audio input, 1M…

厂商原生格式 HuggingFace → 官方页 →

Ornith-1.5 397B

Ornith · 2026-08 · ornith-1.5-397b

MIT
参数量（激活/总）
397B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
210 GB
文本工具调用函数调用

The loudest new entrant of August 2026, taking several of the top Hugging Face trending slots within days. 397B MoE under plain MIT, trained with a self-improvement loop, with…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Llama 4 Maverick

Meta · 2025-04 · llama-4-maverick

Llama 4 Community License
参数量（激活/总）
17B / 400B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
215 GB
文本视觉工具调用函数调用

Meta flagship MoE. 17B active / 400B total. 1M context. Vision-native. Best fit for organizations that have multi-H100 / B200 capacity.

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

MiniMax M3

MiniMax · 2026-06 · minimax-m3

MiniMax Community (commercial restrictions)
参数量（激活/总）
23B / 428B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
230 GB
文本视觉视频工具调用函数调用

Sparse-attention MoE with native image and video input. Loosened from the M2.7 terms, which banned commercial use outright without written permission, but this is still a custom…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

Beam 1.0 501B-A23B

Reflection · 2026-10 · beam-1.0-501b

Apache-2.0
参数量（激活/总）
23.4B / 501.3B
上下文窗口
1.0M tokens
量化档位数
3
最低权重显存
270 GB
文本工具调用函数调用

The cleanest license-to-capability combination among the October 2026 American releases: plain Apache 2.0 on a 501.3B sparse MoE with 23.4B active across 256 experts (3 dense plus…

BF16 全精度、FP8（8 比特浮点）、NVFP4（NVIDIA 4 比特浮点） HuggingFace → 官方页 →

Nemotron 3 Ultra 550B-A55B

NVIDIA · 2026-06 · nemotron-3-ultra

OpenMDW-1.1
参数量（激活/总）
55B / 550B
上下文窗口
262.1K tokens
量化档位数
3
最低权重显存
295 GB
文本工具调用函数调用多语言

NVIDIA's own flagship open model and the largest American open-weight release. Nemotron-H hybrid Mamba and Transformer architecture with 512 routed experts activating 22 per…

BF16 全精度、FP8（8 比特浮点）、NVFP4（NVIDIA 4 比特浮点） HuggingFace → 官方页 →

GLM-5.2

Zhipu · 2026-06 · glm-5.2

MIT
参数量（激活/总）
40B / 753B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
400 GB
文本工具调用函数调用

The strongest open-weights coding model by benchmark: 62.1 on SWE-bench Pro, above GPT-5.5 at 58.6. Plain MIT with no field-of-use carve-outs, which is rarer than the open-weights…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

GLM-5.3

Zhipu · 2026-08 · glm-5.3

GLM-5.3 License
参数量（激活/总）
40B / 753B
上下文窗口
1.0M tokens
量化档位数
3
最低权重显存
430 GB
文本工具调用函数调用

Weights are now public: FP8 in the main repo and a separate BF16 repo, 753B parameters on the same base as GLM-5.2. Every gain came from post-training, which is why Terminal-Bench…

FP16 / BF16 全精度、FP8（8 比特浮点）、GGUF Q4_K_M HuggingFace → 官方页 →

DeepSeek V4.1 Flash

DeepSeek · 2026-09 · deepseek-v4.1-flash

MIT
参数量（激活/总）
16B / 552B
上下文窗口
1.0M tokens
量化档位数
1
最低权重显存
515 GB
文本视觉工具调用函数调用

First model on DeepSeek's Causal Encoder-Decoder architecture and, despite the Flash name, a far bigger download than V4 Flash: 510GB of weights against 160GB. 552B backbone plus…

厂商原生格式 HuggingFace → 官方页 →

MiMo-V2.6-Pro

Xiaomi · 2026-09 · mimo-v2.6-pro

MIT
参数量（激活/总）
42B / 1020B
上下文窗口
1.0M tokens
量化档位数
1
最低权重显存
580 GB
文本视觉音频视频工具调用函数调用

Xiaomi's flagship open-weight omnimodal model, released 2026-09-21 under plain MIT: 1.02T total with 42B active across 384 routed experts, taking text, image, video, and audio in…

厂商原生格式 HuggingFace → 官方页 →

Muse Spark Open 816B-A42B

Meta · 2026-10 · muse-spark-open

Muse Model License
参数量（激活/总）
42B / 816B
上下文窗口
1.0M tokens
量化档位数
2
最低权重显存
700 GB
文本视觉工具调用函数调用

Meta's most capable open-weight release, published 2026-10-15: 816B total with 42B active, natively multimodal, 1M context. Two things to check before planning on it. The license…

BF16 全精度、NVFP4（NVIDIA 4 比特浮点） HuggingFace → 官方页 →

Atria Dawn Preview

Shanghai AI Lab · 2026-09 · atria-dawn-preview

MIT
参数量（激活/总）
40B / 753B
上下文窗口
256.0K tokens
量化档位数
2
最低权重显存
760 GB
文本工具调用函数调用

Shanghai AI Laboratory's agentic preview, released 2026-09-11 under plain MIT and post-trained on the GLM-5.2 base, which the lab describes as 744B; the checkpoint holds 753B…

FP16 / BF16 全精度、FP8（8 比特浮点） HuggingFace → 官方页 →

Kimi K3

Moonshot · 2026-07 · kimi-k3

Kimi K3 License
参数量（激活/总）
104B / 2800B
上下文窗口
1.0M tokens
量化档位数
3
最低权重显存
760 GB
文本视觉工具调用函数调用

Largest open-weight model ever shipped. 2.8T total with 104B activated across 896 experts, 16 routed plus 2 shared per token, so roughly 3.7 percent of the network fires on any…

MXFP4（4 比特微缩放浮点）、GGUF Q3_K_M、GGUF Q2_K HuggingFace → 官方页 →

DeepSeek V4.1 Flash 1017

DeepSeek · 2026-10 · deepseek-v4.1-flash-1017

MIT
参数量（激活/总）
763B
上下文窗口
1.0M tokens
量化档位数
1
最低权重显存
770 GB
文本视觉工具调用函数调用

Released 2026-10-17 under plain MIT and now the model the deepseek-flash API name resolves to. DeepSeek calls it a minor update and a Pareto improvement on the September V4.1…

厂商原生格式 HuggingFace → 官方页 →

Hy4 preview

Tencent · 2026-08 · hy4-preview

Apache-2.0
参数量（激活/总）
49B / 770B
上下文窗口
1.0M tokens
量化档位数
2
最低权重显存
815 GB
文本工具调用函数调用

Tencent's next flagship, shipped early under plain Apache 2.0. 770B total with 49B active across 256 routed experts, Gated DeepSeek Sparse Attention, 1M context, and a built-in…

FP16 / BF16 全精度、FP8（8 比特浮点） HuggingFace → 官方页 →

LongCat-2.0

Meituan · 2026-06 · longcat-2.0

MIT
参数量（激活/总）
45B / 1600B
上下文窗口
1.0M tokens
量化档位数
4
最低权重显存
870 GB
文本工具调用函数调用

MIT-licensed 1.6T MoE with dynamic activation of 33 to 56B per token, purpose-built for agentic coding. The first trillion-parameter model trained and served entirely on a…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

DeepSeek V4 Pro

DeepSeek · 2026-04 · deepseek-v4-pro

MIT
参数量（激活/总）
49B / 1600B
上下文窗口
1.0M tokens
量化档位数
2
最低权重显存
895 GB
文本工具调用函数调用

MIT-licensed frontier MoE with 1.6T total and 49B active, 1M context. The April release was a preview; the official DeepSeek-V4-Pro-0813 weights landed 2026-08-13 with a DSpark…

厂商原生格式、NVFP4（NVIDIA 4 比特浮点） HuggingFace → 官方页 →

Qwen3.8 2.4T-A95B

Qwen · 2026-08 · qwen3.8-2.4t-a95b

Qwen3.8-Max License
参数量（激活/总）
95B / 2400B
上下文窗口
262.1K tokens
量化档位数
4
最低权重显存
1,270 GB
文本工具调用函数调用

The largest open-weight model published to date and the open counterpart to the hosted Qwen3.8-Max. 2.4T total across 512 experts with 95B active. Text only, with thinking mode…

FP16 / BF16 全精度、FP8（8 比特浮点）、AWQ INT4（激活感知权重量化）、GGUF Q4_K_M HuggingFace → 官方页 →

各量化档位显存需求

显示 159 条
「显存判断」= 权重显存 vs 上游推荐配置的折算总显存
开源模型各量化档位的权重显存需求与推荐卡型
排名模型量化档位权重显存质量保留推荐卡型与折算显存显存判断余量可单卡承载权重来源
1 LFM2.5-2.6B LiquidAI · 2.69B · 2026-08 AWQ INT4（激活感知权重量化） 1.4 GB 95% 1× RTX 4090（合计 24 GB） 显存够用 余量 94.2% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
2 LFM2.5-2.6B LiquidAI · 2.69B · 2026-08 GGUF Q4_K_M 1.5 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 93.8% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
3 MiniCPM5-2B OpenBMB · 2.52B · 2026-09 GGUF Q4_K_M 1.6 GB 93% 1× CPU / 入门 GPU（合计 4 GB） 显存够用 余量 60% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
4 LFM2.5-2.6B LiquidAI · 2.69B · 2026-08 FP8（8 比特浮点） 2.9 GB 99% 1× RTX 4090（合计 24 GB） 显存够用 余量 87.9% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
5 MiniCPM5-2B OpenBMB · 2.52B · 2026-09 FP16 / BF16 全精度 5.1 GB 100% 1× 8GB consumer GPU（合计 8 GB） 显存够用 余量 36.3% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
6 LFM2.5-2.6B LiquidAI · 2.69B · 2026-08 FP16 / BF16 全精度 5.5 GB 100% 1× RTX 4090（合计 24 GB） 显存够用 余量 77.1% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
7 Ternary Bonsai 2 27B PrismML · 27.36B · 2026-09 GGUF PTQ1_0（三值） 6 GB 98% 1× 8GB consumer GPU（合计 8 GB） 显存够用 余量 25% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
8 Ternary Bonsai 2 27B PrismML · 27.36B · 2026-09 GGUF PQ2_0（三值） 7.3 GB 98% 1× 12GB consumer GPU（合计 12 GB） 显存够用 余量 39.2% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
9 Phi-4 Microsoft · 14B · 2024-12 AWQ INT4（激活感知权重量化） 8 GB 96% 1× RTX 3090（合计 24 GB） 显存够用 余量 66.7% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
10 Ternary Bonsai 2 27B PrismML · 27.36B · 2026-09 MLX 2 比特（Apple） 8.6 GB 98% 1× Apple Silicon（统一内存）（合计 128 GB） 显存够用 余量 93.3% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
11 Phi-4 Microsoft · 14B · 2024-12 GGUF Q4_K_M 9 GB 94% 1× RTX 3090（合计 24 GB） 显存够用 余量 62.5% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
12 Qwen3.8 27B Qwen · 27B · 2026-08 AWQ INT4（激活感知权重量化） 14 GB 95% 1× RTX 4090（合计 24 GB） 显存够用 余量 41.7% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
13 Qwen3.8 27B Qwen · 27B · 2026-08 GGUF Q4_K_M 15 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 37.5% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
14 Phi-4 Microsoft · 14B · 2024-12 FP8（8 比特浮点） 15 GB 99% 1× RTX 4090（合计 24 GB） 显存够用 余量 37.5% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
15 Nemotron 3.5 Lightning 30B-A3B NVIDIA · 3B / 30B · 2026-08 AWQ INT4（激活感知权重量化） 16 GB 95% 1× RTX 4090（合计 24 GB） 显存够用 余量 33.3% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
16 Muse Glimmer 30B Meta · 30B · 2026-08 AWQ INT4（激活感知权重量化） 16 GB 95% 1× RTX 4090（合计 24 GB） 显存够用 余量 33.3% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
17 Hy-MT2-30B-A3B Tencent · 3B / 30B · 2026-05 AWQ INT4（激活感知权重量化） 16 GB 95% 1× RTX 4090（合计 24 GB） 显存够用 余量 33.3% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
18 Gemma 3 27B Instruct Google · 27B · 2025-03 AWQ INT4（激活感知权重量化） 16 GB 96% 1× RTX 4090（合计 24 GB） 显存够用 余量 33.3% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
19 Granite 4.2 30B IBM · 29.3B · 2026-08 GGUF Q4_K_M 17 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 29.2% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
20 Nemotron 3.5 Lightning 30B-A3B NVIDIA · 3B / 30B · 2026-08 GGUF Q4_K_M 17 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 29.2% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
21 Muse Glimmer 30B Meta · 30B · 2026-08 GGUF Q4_K_M 17 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 29.2% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
22 Hy-MT2-30B-A3B Tencent · 3B / 30B · 2026-05 GGUF Q4_K_M 17 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 29.2% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
23 Nemotron 3 Nano 30B-A3B NVIDIA · 3B / 30B · 2025-12 NVFP4（NVIDIA 4 比特浮点） 18 GB 96% 1× RTX 4090（合计 24 GB） 显存够用 余量 25% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
24 Gemma 3 27B Instruct Google · 27B · 2025-03 GGUF Q4_K_M 18 GB 94% 1× RTX 4090（合计 24 GB） 显存够用 余量 25% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
25 Nemotron 3 Nano 30B-A3B NVIDIA · 3B / 30B · 2025-12 GGUF Q4_K_M 19 GB 93% 1× RTX 4090（合计 24 GB） 显存够用 余量 20.8% RTX 4090 24 GB、RTX 5090 32 GB、H100 80 GB 权重 →
26 Gemma 3 27B Instruct Google · 27B · 2025-03 FP8（8 比特浮点） 28 GB 99% 1× A100-40GB（合计 40 GB） 显存够用 余量 30% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
27 Phi-4 Microsoft · 14B · 2024-12 FP16 / BF16 全精度 28 GB 100% 1× A100-40GB（合计 40 GB） 显存够用 余量 30% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
28 Qwen3.8 27B Qwen · 27B · 2026-08 FP8（8 比特浮点） 29 GB 99% 1× RTX 6000 Ada（合计 48 GB） 显存够用 余量 39.6% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
29 Granite 4.2 30B IBM · 29.3B · 2026-08 FP8（8 比特浮点） 31 GB 99% 1× RTX 6000 Ada（合计 48 GB） 显存够用 余量 35.4% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
30 Nemotron 3.5 Lightning 30B-A3B NVIDIA · 3B / 30B · 2026-08 FP8（8 比特浮点） 32 GB 99% 1× RTX 6000 Ada（合计 48 GB） 显存够用 余量 33.3% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
31 Muse Glimmer 30B Meta · 30B · 2026-08 FP8（8 比特浮点） 32 GB 99% 1× RTX 6000 Ada（合计 48 GB） 显存够用 余量 33.3% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
32 Hy-MT2-30B-A3B Tencent · 3B / 30B · 2026-05 FP8（8 比特浮点） 32 GB 99% 1× RTX 6000 Ada（合计 48 GB） 显存够用 余量 33.3% RTX 5090 32 GB、H100 80 GB、A100 80GB 80 GB 权重 →
33 Nemotron 3 Nano 30B-A3B NVIDIA · 3B / 30B · 2025-12 FP8（8 比特浮点） 34 GB 99% 1× A100-40GB（合计 40 GB） 显存够用 余量 15% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
34 Qwen 2.5 72B Instruct Alibaba · 72B · 2024-09 AWQ INT4（激活感知权重量化） 40 GB 96% 1× A100-80GB（合计 80 GB） 显存够用 余量 50% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
35 Llama 3.3 70B Instruct Meta · 70B · 2024-12 AWQ INT4（激活感知权重量化） 40 GB 96% 1× A100-80GB（合计 80 GB） 显存够用 余量 50% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
36 Qwen 2.5 72B Instruct Alibaba · 72B · 2024-09 GGUF Q4_K_M 45 GB 94% 1× RTX 6000（合计 48 GB） 显存够用 余量 6.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
37 Llama 3.3 70B Instruct Meta · 70B · 2024-12 GGUF Q4_K_M 45 GB 94% 1× RTX 6000（合计 48 GB） 显存够用 余量 6.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
38 Llama 4 Scout Meta · 17B / 109B · 2025-04 GGUF Q3_K_M 50 GB 89% 1× RTX 6000（合计 48 GB） 显存不足 超出 4.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
39 Gemma 3 27B Instruct Google · 27B · 2025-03 FP16 / BF16 全精度 54 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 32.5% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
40 Qwen3.8 27B Qwen · 27B · 2026-08 FP16 / BF16 全精度 56 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 30% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
41 Granite 4.2 30B IBM · 29.3B · 2026-08 FP16 / BF16 全精度 60 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 25% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
42 Llama 4 Scout Meta · 17B / 109B · 2025-04 AWQ INT4（激活感知权重量化） 60 GB 96% 1× H100-80GB（合计 80 GB） 显存够用 余量 25% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
43 Nemotron 3.5 Lightning 30B-A3B NVIDIA · 3B / 30B · 2026-08 FP16 / BF16 全精度 62 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 22.5% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
44 Muse Glimmer 30B Meta · 30B · 2026-08 FP16 / BF16 全精度 62 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 22.5% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
45 Hy-MT2-30B-A3B Tencent · 3B / 30B · 2026-05 FP16 / BF16 全精度 62 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 22.5% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
46 Laguna S 2.1 poolside · 8B / 118B · 2026-07 AWQ INT4（激活感知权重量化） 63 GB 95% 1× H100-80GB（合计 80 GB） 显存够用 余量 21.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
47 Leanstral 1.5 119B-A6B Mistral · 6.5B / 119B · 2026-07 AWQ INT4（激活感知权重量化） 63 GB 95% 1× H100-80GB（合计 80 GB） 显存够用 余量 21.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
48 Nemotron 3 Nano 30B-A3B NVIDIA · 3B / 30B · 2025-12 BF16 全精度 64 GB 100% 1× H100-80GB（合计 80 GB） 显存够用 余量 20% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
49 Llama 4 Scout Meta · 17B / 109B · 2025-04 GGUF Q4_K_M 65 GB 94% 1× A100-80GB（合计 80 GB） 显存够用 余量 18.8% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
50 Ling-3.0-flash InclusionAI · 5.1B / 124B · 2026-07 AWQ INT4（激活感知权重量化） 66 GB 95% 1× H100-80GB（合计 80 GB） 显存够用 余量 17.5% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
51 Laguna S 2.1 poolside · 8B / 118B · 2026-07 GGUF Q4_K_M 67 GB 93% 1× H100-80GB（合计 80 GB） 显存够用 余量 16.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
52 Leanstral 1.5 119B-A6B Mistral · 6.5B / 119B · 2026-07 GGUF Q4_K_M 67 GB 93% 1× H100-80GB（合计 80 GB） 显存够用 余量 16.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
53 Nemotron 3.5 Super VL 120B-A12B NVIDIA · 12B / 120B · 2026-10 NVFP4（NVIDIA 4 比特浮点） 68 GB 96% 1× H100-80GB（合计 80 GB） 显存够用 余量 15% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
54 Nemotron 3 Super 120B-A12B NVIDIA · 12B / 120B · 2026-03 NVFP4（NVIDIA 4 比特浮点） 68 GB 96% 1× H100-80GB（合计 80 GB） 显存够用 余量 15% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
55 Ling-3.0-flash InclusionAI · 5.1B / 124B · 2026-07 GGUF Q4_K_M 70 GB 93% 1× H100-80GB（合计 80 GB） 显存够用 余量 12.5% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
56 Mistral Medium 3.5 Mistral · 128B · 2026-05 AWQ INT4（激活感知权重量化） 72 GB 96% 1× H100-80GB（合计 80 GB） 显存够用 余量 10% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
57 Qwen 2.5 72B Instruct Alibaba · 72B · 2024-09 FP8（8 比特浮点） 75 GB 99% 1× H100-80GB（合计 80 GB） 显存够用 余量 6.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
58 Mixtral 8x22B Instruct Mistral · 39B / 141B · 2024-04 AWQ INT4（激活感知权重量化） 75 GB 95% 1× H100-80GB（合计 80 GB） 显存够用 余量 6.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
59 Llama 3.3 70B Instruct Meta · 70B · 2024-12 FP8（8 比特浮点） 75 GB 99% 1× H100-80GB（合计 80 GB） 显存够用 余量 6.2% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
60 Mistral Medium 3.5 Mistral · 128B · 2026-05 GGUF Q4_K_M 78 GB 94% 1× H200（合计 141 GB） 显存够用 余量 44.7% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
61 Mixtral 8x22B Instruct Mistral · 39B / 141B · 2024-04 GGUF Q4_K_M 80 GB 93% 1× A100-80GB（合计 80 GB） 显存够用 余量 0% H100 80 GB、A100 80GB 80 GB、RTX PRO 6000 Blackwell 96 GB 权重 →
62 Qwen3.8-Flash-Next Qwen · 6B / 125B · 2026-08 GGUF Q4_K_M 105 GB 93% 2× H100-80GB（合计 160 GB） 显存够用 余量 34.4% M4 Max 128 GB、H200 141 GB、Instinct MI350P 144 GB 权重 →
63 Llama 4 Scout Meta · 17B / 109B · 2025-04 FP8（8 比特浮点） 115 GB 99% 2× H100-80GB（合计 160 GB） 显存够用 余量 28.1% M4 Max 128 GB、H200 141 GB、Instinct MI350P 144 GB 权重 →
64 Command A+ Cohere · 25B / 218B · 2026-05 W4A4（权重与激活均 4 比特） 120 GB 94% 2× H100-80GB（合计 160 GB） 显存够用 余量 25% M4 Max 128 GB、H200 141 GB、Instinct MI350P 144 GB 权重 →
65 Laguna S 2.1 poolside · 8B / 118B · 2026-07 FP8（8 比特浮点） 125 GB 99% 1× H200（合计 141 GB） 显存够用 余量 11.3% M4 Max 128 GB、H200 141 GB、Instinct MI350P 144 GB 权重 →
66 Leanstral 1.5 119B-A6B Mistral · 6.5B / 119B · 2026-07 FP8（8 比特浮点） 125 GB 99% 1× H200（合计 141 GB） 显存够用 余量 11.3% M4 Max 128 GB、H200 141 GB、Instinct MI350P 144 GB 权重 →
67 Command A+ Cohere · 25B / 218B · 2026-05 GGUF Q4_K_M 125 GB 93% 2× H100-80GB（合计 160 GB） 显存够用 余量 21.9% M4 Max 128 GB、H200 141 GB、Instinct MI350P 144 GB 权重 →
68 Ling-3.0-flash InclusionAI · 5.1B / 124B · 2026-07 FP8（8 比特浮点） 130 GB 99% 1× H200（合计 141 GB） 显存够用 余量 7.8% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
69 Solar Open 2 250B Upstage · 15B / 250B · 2026-07 AWQ INT4（激活感知权重量化） 130 GB 95% 1× H200（合计 141 GB） 显存够用 余量 7.8% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
70 Nemotron 3 Super 120B-A12B NVIDIA · 12B / 120B · 2026-03 FP8（8 比特浮点） 130 GB 99% 2× H100-80GB（合计 160 GB） 显存够用 余量 18.8% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
71 Qwen3.8-Flash-Next Qwen · 6B / 125B · 2026-08 NVFP4（NVIDIA 4 比特浮点） 135 GB 96% 1× B200（合计 180 GB） 显存够用 余量 25% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
72 Solar Open 2 250B Upstage · 15B / 250B · 2026-07 GGUF Q4_K_M 140 GB 93% 1× H200（合计 141 GB） 显存够用 余量 0.7% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
73 Mistral Medium 3.5 Mistral · 128B · 2026-05 FP8（8 比特浮点） 140 GB 99% 2× H100-80GB（合计 160 GB） 显存够用 余量 12.5% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
74 Llama 3.3 70B Instruct Meta · 70B · 2024-12 FP16 / BF16 全精度 140 GB 100% 2× H100-80GB（合计 160 GB） 显存够用 余量 12.5% H200 141 GB、Instinct MI350P 144 GB、B200 180 GB 权重 →
75 Qwen 2.5 72B Instruct Alibaba · 72B · 2024-09 FP16 / BF16 全精度 145 GB 100% 2× H100-80GB（合计 160 GB） 显存够用 余量 9.4% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
76 Mixtral 8x22B Instruct Mistral · 39B / 141B · 2024-04 FP8（8 比特浮点） 145 GB 99% 2× H100-80GB（合计 160 GB） 显存够用 余量 9.4% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
77 dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08 AWQ INT4（激活感知权重量化） 150 GB 95% 2× H200（合计 282 GB） 显存够用 余量 46.8% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
78 Hy3 Tencent · 21B / 295B · 2026-07 AWQ INT4（激活感知权重量化） 155 GB 95% 2× H200（合计 282 GB） 显存够用 余量 45% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
79 DeepSeek V4 Flash DeepSeek · 13B / 284B · 2026-04 AWQ INT4（激活感知权重量化） 155 GB 95% 2× H200（合计 282 GB） 显存够用 余量 45% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
80 dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08 GGUF Q4_K_M 160 GB 93% 2× H200（合计 282 GB） 显存够用 余量 43.3% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
81 DeepSeek V4 Flash DeepSeek · 13B / 284B · 2026-04 厂商原生格式 160 GB 100% 2× H200（合计 282 GB） 显存够用 余量 43.3% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
82 Hy3 Tencent · 21B / 295B · 2026-07 GGUF Q4_K_M 165 GB 93% 2× H200（合计 282 GB） 显存够用 余量 41.5% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
83 Motif 3 Motif Technologies · 13.2B / 314B · 2026-08 AWQ INT4（激活感知权重量化） 165 GB 95% 2× H200（合计 282 GB） 显存够用 余量 41.5% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
84 DeepSeek V4 Flash DeepSeek · 13B / 284B · 2026-04 GGUF Q4_K_M 165 GB 93% 2× H200（合计 282 GB） 显存够用 余量 41.5% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
85 GLM-5.3-Flash Zhipu · 18B / 320B · 2026-08 AWQ INT4（激活感知权重量化） 170 GB 95% 2× H200（合计 282 GB） 显存够用 余量 39.7% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
86 Motif 3 Motif Technologies · 13.2B / 314B · 2026-08 GGUF Q4_K_M 175 GB 93% 2× H200（合计 282 GB） 显存够用 余量 37.9% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
87 MiMo-V2.6-Flash Xiaomi · 15B / 309B · 2026-09 厂商原生格式 180 GB 100% 4× H100-80GB（合计 320 GB） 显存够用 余量 43.8% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
88 GLM-5.3-Flash Zhipu · 18B / 320B · 2026-08 GGUF Q4_K_M 180 GB 93% 2× H200（合计 282 GB） 显存够用 余量 36.2% B200 180 GB、MI300X 192 GB、MI325X 256 GB 权重 →
89 Qwen3.8-Flash-Next Qwen · 6B / 125B · 2026-08 FP8（8 比特浮点） 190 GB 99% 2× H200（合计 282 GB） 显存够用 余量 32.6% MI300X 192 GB、MI325X 256 GB、Rubin (Vera Rubin) 288 GB 权重 →
90 Ornith-1.5 397B Ornith · 397B · 2026-08 AWQ INT4（激活感知权重量化） 210 GB 95% 2× H200（合计 282 GB） 显存够用 余量 25.5% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
91 Llama 4 Maverick Meta · 17B / 400B · 2025-04 AWQ INT4（激活感知权重量化） 215 GB 96% 2× H100-80GB（合计 160 GB） 显存不足 超出 34.4% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
92 Llama 4 Scout Meta · 17B / 109B · 2025-04 FP16 / BF16 全精度 220 GB 100% 4× H100-80GB（合计 320 GB） 显存够用 余量 31.2% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
93 Ornith-1.5 397B Ornith · 397B · 2026-08 GGUF Q4_K_M 225 GB 93% 2× H200（合计 282 GB） 显存够用 余量 20.2% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
94 MiniMax M3 MiniMax · 23B / 428B · 2026-06 AWQ INT4（激活感知权重量化） 230 GB 95% 2× H200（合计 282 GB） 显存够用 余量 18.4% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
95 Command A+ Cohere · 25B / 218B · 2026-05 FP8（8 比特浮点） 235 GB 99% 4× H100-80GB（合计 320 GB） 显存够用 余量 26.6% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
96 Llama 4 Maverick Meta · 17B / 400B · 2025-04 GGUF Q4_K_M 240 GB 94% 1× B200（合计 180 GB） 显存不足 超出 33.3% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
97 Laguna S 2.1 poolside · 8B / 118B · 2026-07 FP16 / BF16 全精度 245 GB 100% 2× H200（合计 282 GB） 显存够用 余量 13.1% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
98 Leanstral 1.5 119B-A6B Mistral · 6.5B / 119B · 2026-07 FP16 / BF16 全精度 245 GB 100% 2× H200（合计 282 GB） 显存够用 余量 13.1% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
99 MiniMax M3 MiniMax · 23B / 428B · 2026-06 GGUF Q4_K_M 245 GB 93% 2× H200（合计 282 GB） 显存够用 余量 13.1% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
100 Nemotron 3.5 Super VL 120B-A12B NVIDIA · 12B / 120B · 2026-10 BF16 全精度 250 GB 100% 4× H100-80GB（合计 320 GB） 显存够用 余量 21.9% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
101 Nemotron 3 Super 120B-A12B NVIDIA · 12B / 120B · 2026-03 BF16 全精度 250 GB 100% 4× H100-80GB（合计 320 GB） 显存够用 余量 21.9% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
102 Ling-3.0-flash InclusionAI · 5.1B / 124B · 2026-07 FP16 / BF16 全精度 255 GB 100% 2× H200（合计 282 GB） 显存够用 余量 9.6% MI325X 256 GB、Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB 权重 →
103 Solar Open 2 250B Upstage · 15B / 250B · 2026-07 FP8（8 比特浮点） 265 GB 99% 2× H200（合计 282 GB） 显存够用 余量 6% Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB、MI355X 288 GB 权重 →
104 Beam 1.0 501B-A23B Reflection · 23.4B / 501.3B · 2026-10 NVFP4（NVIDIA 4 比特浮点） 270 GB 96% 4× H200（合计 564 GB） 显存够用 余量 52.1% Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB、MI355X 288 GB 权重 →
105 Mistral Medium 3.5 Mistral · 128B · 2026-05 FP16 / BF16 全精度 270 GB 100% 4× H100-80GB（合计 320 GB） 显存够用 余量 15.6% Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB、MI355X 288 GB 权重 →
106 Mixtral 8x22B Instruct Mistral · 39B / 141B · 2024-04 FP16 / BF16 全精度 282 GB 100% 4× H100-80GB（合计 320 GB） 显存够用 余量 11.9% Rubin (Vera Rubin) 288 GB、B300 (Blackwell Ultra) 288 GB、MI355X 288 GB 权重 →
107 dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08 FP8（8 比特浮点） 295 GB 99% 4× H200（合计 564 GB） 显存够用 余量 47.7% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
108 Nemotron 3 Ultra 550B-A55B NVIDIA · 55B / 550B · 2026-06 NVFP4（NVIDIA 4 比特浮点） 295 GB 96% 4× H200（合计 564 GB） 显存够用 余量 47.7% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
109 DeepSeek V4 Flash DeepSeek · 13B / 284B · 2026-04 FP8（8 比特浮点） 300 GB 99% 4× H100-80GB（合计 320 GB） 显存够用 余量 6.2% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
110 Hy3 Tencent · 21B / 295B · 2026-07 FP8（8 比特浮点） 315 GB 99% 4× H200（合计 564 GB） 显存够用 余量 44.1% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
111 Motif 3 Motif Technologies · 13.2B / 314B · 2026-08 FP8（8 比特浮点） 335 GB 99% 4× H200（合计 564 GB） 显存够用 余量 40.6% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
112 GLM-5.3-Flash Zhipu · 18B / 320B · 2026-08 FP8（8 比特浮点） 340 GB 99% 4× H200（合计 564 GB） 显存够用 余量 39.7% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
113 Qwen3.8-Flash-Next Qwen · 6B / 125B · 2026-08 FP16 / BF16 全精度 365 GB 100% 4× H200（合计 564 GB） 显存够用 余量 35.3% GB200 (Blackwell) 372 GB、MI455X 432 GB 权重 →
114 GLM-5.2 Zhipu · 40B / 753B · 2026-06 AWQ INT4（激活感知权重量化） 400 GB 95% 4× H200（合计 564 GB） 显存够用 余量 29.1% MI455X 432 GB 权重 →
115 Llama 4 Maverick Meta · 17B / 400B · 2025-04 FP8（8 比特浮点） 410 GB 99% 4× H200（合计 564 GB） 显存够用 余量 27.3% MI455X 432 GB 权重 →
116 Ornith-1.5 397B Ornith · 397B · 2026-08 FP8（8 比特浮点） 420 GB 99% 4× H200（合计 564 GB） 显存够用 余量 25.5% MI455X 432 GB 权重 →
117 GLM-5.2 Zhipu · 40B / 753B · 2026-06 GGUF Q4_K_M 425 GB 93% 4× H200（合计 564 GB） 显存够用 余量 24.6% MI455X 432 GB 权重 →
118 GLM-5.3 Zhipu · 40B / 753B · 2026-08 GGUF Q4_K_M 430 GB 93% 4× H200（合计 564 GB） 显存够用 余量 23.8% MI455X 432 GB 权重 →
119 MiniMax M3 MiniMax · 23B / 428B · 2026-06 FP8（8 比特浮点） 450 GB 99% 4× H200（合计 564 GB） 显存够用 余量 20.2% 单卡放不下，需 4× H200 / 3× B200 / 2× MI355X 权重 →
120 Command A+ Cohere · 25B / 218B · 2026-05 BF16 全精度 460 GB 100% 8× H100-80GB（合计 640 GB） 显存够用 余量 28.1% 单卡放不下，需 4× H200 / 3× B200 / 2× MI355X 权重 →
121 DeepSeek V4.1 Flash DeepSeek · 16B / 552B · 2026-09 厂商原生格式 515 GB 100% 4× B200（合计 720 GB） 显存够用 余量 28.5% 单卡放不下，需 4× H200 / 3× B200 / 2× MI355X 权重 →
122 Solar Open 2 250B Upstage · 15B / 250B · 2026-07 FP16 / BF16 全精度 515 GB 100% 4× H200（合计 564 GB） 显存够用 余量 8.7% 单卡放不下，需 4× H200 / 3× B200 / 2× MI355X 权重 →
123 Beam 1.0 501B-A23B Reflection · 23.4B / 501.3B · 2026-10 FP8（8 比特浮点） 540 GB 99% 8× H200（合计 1,128 GB） 显存够用 余量 52.1% 单卡放不下，需 4× H200 / 3× B200 / 2× MI355X 权重 →
124 dots3-note Preview Xiaohongshu · 16B / 280B · 2026-08 FP16 / BF16 全精度 575 GB 100% 8× H100-80GB（合计 640 GB） 显存够用 余量 10.2% 单卡放不下，需 5× H200 / 4× B200 / 2× MI355X 权重 →
125 MiMo-V2.6-Pro Xiaomi · 42B / 1020B · 2026-09 厂商原生格式 580 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 48.6% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
126 Nemotron 3 Ultra 550B-A55B NVIDIA · 55B / 550B · 2026-06 FP8（8 比特浮点） 590 GB 99% 8× H200（合计 1,128 GB） 显存够用 余量 47.7% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
127 DeepSeek V4 Flash DeepSeek · 13B / 284B · 2026-04 FP16 / BF16 全精度 600 GB 100% 8× H100-80GB（合计 640 GB） 显存够用 余量 6.2% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
128 Hy3 Tencent · 21B / 295B · 2026-07 FP16 / BF16 全精度 610 GB 100% 8× H100-80GB（合计 640 GB） 显存够用 余量 4.7% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
129 Motif 3 Motif Technologies · 13.2B / 314B · 2026-08 FP16 / BF16 全精度 645 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 42.8% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
130 GLM-5.3-Flash Zhipu · 18B / 320B · 2026-08 FP16 / BF16 全精度 660 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 41.5% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
131 Muse Spark Open 816B-A42B Meta · 42B / 816B · 2026-10 NVFP4（NVIDIA 4 比特浮点） 700 GB 96% 8× H200（合计 1,128 GB） 显存够用 余量 37.9% 单卡放不下，需 5× H200 / 4× B200 / 3× MI355X 权重 →
132 Atria Dawn Preview Shanghai AI Lab · 40B / 753B · 2026-09 FP8（8 比特浮点） 760 GB 99% 8× H200（合计 1,128 GB） 显存够用 余量 32.6% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
133 GLM-5.3 Zhipu · 40B / 753B · 2026-08 FP8（8 比特浮点） 760 GB 99% 8× H200（合计 1,128 GB） 显存够用 余量 32.6% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
134 Kimi K3 Moonshot · 104B / 2800B · 2026-07 GGUF Q2_K 760 GB 79% 8× H100-80GB（合计 640 GB） 显存不足 超出 18.8% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
135 DeepSeek V4.1 Flash 1017 DeepSeek · 763B · 2026-10 厂商原生格式 770 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 31.7% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
136 GLM-5.2 Zhipu · 40B / 753B · 2026-06 FP8（8 比特浮点） 800 GB 99% 8× H200（合计 1,128 GB） 显存够用 余量 29.1% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
137 Llama 4 Maverick Meta · 17B / 400B · 2025-04 FP16 / BF16 全精度 800 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 29.1% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
138 Hy4 preview Tencent · 49B / 770B · 2026-08 FP8（8 比特浮点） 815 GB 99% 8× H200（合计 1,128 GB） 显存够用 余量 27.7% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
139 Ornith-1.5 397B Ornith · 397B · 2026-08 FP16 / BF16 全精度 820 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 27.3% 单卡放不下，需 6× H200 / 5× B200 / 3× MI355X 权重 →
140 LongCat-2.0 Meituan · 45B / 1600B · 2026-06 AWQ INT4（激活感知权重量化） 870 GB 95% 8× H200（合计 1,128 GB） 显存够用 余量 22.9% 单卡放不下，需 7× H200 / 5× B200 / 4× MI355X 权重 →
141 MiniMax M3 MiniMax · 23B / 428B · 2026-06 FP16 / BF16 全精度 880 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 22% 单卡放不下，需 7× H200 / 5× B200 / 4× MI355X 权重 →
142 DeepSeek V4 Pro DeepSeek · 49B / 1600B · 2026-04 厂商原生格式 895 GB 100% 8× H200（合计 1,128 GB） 显存够用 余量 20.7% 单卡放不下，需 7× H200 / 5× B200 / 4× MI355X 权重 →
143 LongCat-2.0 Meituan · 45B / 1600B · 2026-06 GGUF Q4_K_M 940 GB 93% 8× H200（合计 1,128 GB） 显存够用 余量 16.7% 单卡放不下，需 7× H200 / 6× B200 / 4× MI355X 权重 →
144 DeepSeek V4 Pro DeepSeek · 49B / 1600B · 2026-04 NVFP4（NVIDIA 4 比特浮点） 945 GB 99% 8× B200（合计 1,440 GB） 显存够用 余量 34.4% 单卡放不下，需 7× H200 / 6× B200 / 4× MI355X 权重 →
145 Beam 1.0 501B-A23B Reflection · 23.4B / 501.3B · 2026-10 BF16 全精度 1,050 GB 100% 8× B200（合计 1,440 GB） 显存够用 余量 27.1% 单卡放不下，需 8× H200 / 6× B200 / 4× MI355X 权重 →
146 Kimi K3 Moonshot · 104B / 2800B · 2026-07 GGUF Q3_K_M 1,120 GB 88% 8× H200（合计 1,128 GB） 显存够用 余量 0.7% 单卡放不下，需 8× H200 / 7× B200 / 4× MI355X 权重 →
147 Nemotron 3 Ultra 550B-A55B NVIDIA · 55B / 550B · 2026-06 BF16 全精度 1,150 GB 100% 8× B200（合计 1,440 GB） 显存够用 余量 20.1% 单卡放不下，需 9× H200 / 7× B200 / 4× MI355X 权重 →
148 Qwen3.8 2.4T-A95B Qwen · 95B / 2400B · 2026-08 AWQ INT4（激活感知权重量化） 1,270 GB 95% 8× B200（合计 1,440 GB） 显存够用 余量 11.8% 单卡放不下，需 10× H200 / 8× B200 / 5× MI355X 权重 →
149 Qwen3.8 2.4T-A95B Qwen · 95B / 2400B · 2026-08 GGUF Q4_K_M 1,355 GB 93% 8× B200（合计 1,440 GB） 显存够用 余量 5.9% 单卡放不下，需 10× H200 / 8× B200 / 5× MI355X 权重 →
150 Kimi K3 Moonshot · 104B / 2800B · 2026-07 MXFP4（4 比特微缩放浮点） 1,450 GB 100% 8× B200（合计 1,440 GB） 显存不足 超出 0.7% 单卡放不下，需 11× H200 / 9× B200 / 6× MI355X 权重 →
151 Atria Dawn Preview Shanghai AI Lab · 40B / 753B · 2026-09 FP16 / BF16 全精度 1,510 GB 100% 16× B200（合计 2,880 GB） 显存够用 余量 47.6% 单卡放不下，需 11× H200 / 9× B200 / 6× MI355X 权重 →
152 GLM-5.3 Zhipu · 40B / 753B · 2026-08 FP16 / BF16 全精度 1,510 GB 100% 16× B200（合计 2,880 GB） 显存够用 余量 47.6% 单卡放不下，需 11× H200 / 9× B200 / 6× MI355X 权重 →
153 GLM-5.2 Zhipu · 40B / 753B · 2026-06 FP16 / BF16 全精度 1,550 GB 100% 8× B200（合计 1,440 GB） 显存不足 超出 7.6% 单卡放不下，需 11× H200 / 9× B200 / 6× MI355X 权重 →
154 Hy4 preview Tencent · 49B / 770B · 2026-08 FP16 / BF16 全精度 1,560 GB 100% 16× B200（合计 2,880 GB） 显存够用 余量 45.8% 单卡放不下，需 12× H200 / 9× B200 / 6× MI355X 权重 →
155 LongCat-2.0 Meituan · 45B / 1600B · 2026-06 FP8（8 比特浮点） 1,690 GB 99% 8× B200（合计 1,440 GB） 显存不足 超出 17.4% 单卡放不下，需 12× H200 / 10× B200 / 6× MI355X 权重 →
156 Muse Spark Open 816B-A42B Meta · 42B / 816B · 2026-10 BF16 全精度 2,000 GB 100% 16× B200（合计 2,880 GB） 显存够用 余量 30.6% 单卡放不下，需 15× H200 / 12× B200 / 7× MI355X 权重 →
157 Qwen3.8 2.4T-A95B Qwen · 95B / 2400B · 2026-08 FP8（8 比特浮点） 2,545 GB 99% 16× B200（合计 2,880 GB） 显存够用 余量 11.6% 单卡放不下，需 19× H200 / 15× B200 / 9× MI355X 权重 →
158 LongCat-2.0 Meituan · 45B / 1600B · 2026-06 FP16 / BF16 全精度 3,300 GB 100% 16× B200（合计 2,880 GB） 显存不足 超出 14.6% 单卡放不下，需 24× H200 / 19× B200 / 12× MI355X 权重 →
159 Qwen3.8 2.4T-A95B Qwen · 95B / 2400B · 2026-08 FP16 / BF16 全精度 4,945 GB 100% 16× B200（合计 2,880 GB） 显存不足 超出 71.7% 单卡放不下，需 36× H200 / 28× B200 / 18× MI355X 权重 →

加速卡规格联动

按「能装下多少条档位」排序
规格来自本站 AI 算力频道的加速卡库（共 26 款）
按单卡显存可承载的量化档位数量排序的主流加速卡
加速卡厂商单卡显存显存带宽FP16 算力(TFLOPS)可承载档位数
AMD MI455X AMD 432 GB 23.3 TB/s 5,030 118
NVIDIA GB200 (Blackwell) NVIDIA 372 GB 16 TB/s 5,000 113
NVIDIA Rubin (Vera Rubin) NVIDIA 288 GB 19.2 TB/s 4,000 106
NVIDIA B300 (Blackwell Ultra) NVIDIA 288 GB 8 TB/s 2,500 106
AMD MI355X AMD 288 GB 8 TB/s 2,500 106
AMD MI325X AMD 256 GB 6 TB/s 1,300 102
AMD MI300X AMD 192 GB 5.3 TB/s 1,300 89
Google TPU7x (Ironwood) Google 192 GB 7.38 TB/s 2,307 89
NVIDIA B200 NVIDIA 180 GB 8 TB/s 2,500 88
NVIDIA H200 NVIDIA 141 GB 4.8 TB/s 989 74

完整规格（制程、互联、上市时间、参考价）见 加速卡规格库 →；整机租用价格见 GPU 租用比价 →。

显存估算口径与边界

只算了权重，没算运行时
已计入：权重常驻显存量化档位权重体积按上游给出的 vramGB 字段直接展示，是估算的唯一实测项
未计入：KV cache与上下文长度 × 并发数成正比经验值：7B 模型 FP16 KV cache 约 0.5GB / 千 token；128K 上下文单条请求就可能吃掉十几 GB
未计入：并发批大小batch size 直接线性放大 KV cache 与激活压测用的 batch=1 数字不能直接当作线上容量
未计入：运行时激活与框架开销CUDA 图、通信缓冲、显存碎片工程上通常再留 10%～20% 余量
未计入：多卡并行的额外成本张量并行的通信缓冲与冗余副本张量并行会额外占用显存，8 卡方案实际可用显存低于标称之和
结论：怎么用这些数字当作「下限」而不是「容量」建议把本页显存 × 1.3～1.5 再对照卡型；长上下文、高并发场景按 2 倍预留

数据说明

资料口径公开渠道汇总开源模型公开目录，加速卡规格来自本站 AI 算力频道
数据日期2026-10-27 19:00上游数据时间 2026-10-19（北京时间）；与上游不一致时以上游为准
显存字段口径权重常驻显存（GB）不含 KV cache、批大小、激活与框架开销，详见上一节
推荐卡型口径上游给出的参考部署配置「Nx 卡型」按本站加速卡规格库折算为单卡显存 × 卡数，仅作参考

常见问题

本页显存数字为什么和实测差很多？

本页只算权重常驻显存，实测还要加上 KV cache、运行时激活、框架预留和显存碎片。7B 模型在 8K 上下文、单并发下通常多占 1～2GB，到 128K 上下文或几十并发时，KV cache 会超过权重本身。把它当下限用，再乘 1.3～1.5 倍做容量规划。

FP16 放不下，是不是就跑不了这个模型？

不是。先降到 FP8（约省一半），再不行用 AWQ INT4 或 GGUF Q4_K_M（约省 3/4）。本页量化档位表里排在后面的档位就是给这种情况准备的。代价是精度损失和（部分格式的）吞吐下降，是否可接受取决于你的任务对错误的容忍度。

AWQ INT4 和 GGUF Q4_K_M 怎么选？

AWQ 走 vLLM / TensorRT-LLM 这类高吞吐服务框架，适合线上 API，但需要 GPU；GGUF 走 llama.cpp / Ollama，能在 CPU 和 Apple Silicon 上跑，适合本地和边缘场景。同样 4 比特，AWQ 的批量吞吐通常更好，GGUF 的部署门槛更低。

「质量保留」百分比能跨模型比较吗？

不能。它是各发布方在自己评测集上给出的相对保留度，评测集、任务和测量方式都不统一，同一个 93% 在不同模型上代表的能力损失差别很大。只能用来在同一模型的多个档位之间做取舍。

多卡方案的总显存等于单卡之和吗？

不等于。张量并行要额外占用通信缓冲和冗余副本，实际可用显存通常低于标称之和的 90%，而且卡间互联带宽不够时吞吐会明显掉。本页「折算总显存」是标称值，只用于粗略判断放不放得下。建议先用 /compute/gpu-rental 按小时租一台验证，再决定是否自建。

量化档位与显存需求取自开源模型公开目录，显存取各量化方式的实测值；推荐卡型为参考建议，最终以实测为准，数据日期 2026-10-27 19:00。