deepseek v3 本地部署 硬件需求

很多人一上来就问「跑 DeepSeek V3 要几张什么卡」，但这个问题没有统一答案——它取决于你选哪个量化档位、要多长上下文、要接多少并发、以及能不能接受 CPU 卸载带来的降速。这篇给一套可执行的测算顺序：先确认要跑的是哪一档权重，再按显存、内存、卡间互联逐项过一遍，最后用站内的部署测算页核对你手上机器的实际余量。

很多人张口就问「跑 DeepSeek V3 到底要几张什么卡」，这问题其实没法一句话答。它取决于你选哪一档量化权重、要多长上下文、接多少并发、以及能不能忍受 CPU 卸载带来的降速。同一个名字下面，可能是几百 GB 的原始权重，也可能是几十 GB 的社区量化版，硬件门槛差出几十倍。

所以别急着买卡。先按下面这套顺序过一遍：确认要跑的是哪一档权重，再拆显存和内存的三块占用，然后判断单卡装不下是拆卡还是降速，最后按并发倒推卡数、拿机器实测收口。中间涉及具体数字的地方，一律到站内页面核对当时的口径，别拿群里的截图做采购决策。

先搞清你要跑的是哪一档权重

「DeepSeek V3」在实际下载场景里至少对应三类东西：官方原版大权重、社区做的低比特量化版、以及蒸馏出来的小参数版本。这三件事的硬件门槛差得很远，选错了后面所有测算都是白算。拿到下载链接的第一步，是先看它的参数总量、精度格式和是不是 MoE 结构，而不是直接问卡。

• 看参数总量与结构：MoE 的总参数很大，但每个 token 只激活其中一部分专家。显存必须装下全部专家权重，算力却按激活量走，这是 MoE 最容易被误判的地方。
• 看权重精度格式：FP16、INT8、INT4 对应的每参数字节数不同，这是显存测算的起点，量化档位越低越省显存，但质量损失要单独评估，别只看能不能装下。
• 看权重文件的实际体积，而不是只看参数量。文件名和说明页里通常会写清楚切成了几个分片，这直接对应你要准备多少显存和磁盘。
• 到站内模型资料库核对这张卡片的规格与权重说明，把参数量、精度、是否 MoE 三项对齐，再进入下一步测算。

显存与内存怎么算：按权重、KV 缓存、框架开销三块拆

显存占用大致可以拆成三块：权重、KV 缓存、框架与激活开销。权重最好估，参数量乘每参数字节数就差不多；KV 缓存是最容易漏掉的一块，它跟上下文长度、并发数、层数成正比，长文本跑满时可能和权重一个量级；框架本身还要预留一部分，MoE 因为专家分布还会额外吃一些。

主机内存常被忽略。加载权重、做量化转换、以及在多卡之间做 CPU 卸载，都要吃内存。内存不够的表现不是「跑得慢」，而是直接卡在加载阶段起不来。评估时把内存和显存放在同一张清单上，别只盯显卡。

单卡装不下怎么办：拆卡、互联与卸载的取舍

单卡装不下是常态，但你要先分清是「显存不够」还是「带宽不够」。前者靠拆卡和量化解决，后者靠更快的卡间互联解决，两者花钱方向完全不同。搞反了会出现加了卡吞吐没涨的情况。

1. 先判断瓶颈类型用目标上下文长度跑一轮，看显存是不是顶到上限。顶了是显存瓶颈，没顶但吞吐上不去，多半是卡间通信或算力瓶颈。
2. 多卡看互联方式走 PCIe 的机器在张量并行下吞吐会明显吃亏。具体差距到站内加速卡规格库对照各卡的互联带宽参数。
3. 决定是否接受 CPU 卸载卸载能让你在少卡的情况下把模型跑起来，代价是生成速度断崖式下降，只适合夜间批处理，不适合在线对话。
4. 区分「能跑」和「能用」苹果统一内存机器和纯 CPU 方案在超大 MoE 上属于能跑但很慢，评估时把它和「完全不能用」分开记录，别一刀切。

按并发倒推卡数，再拿机器实测收口

卡数不是起点，业务口径才是。先定三个数：峰值并发多少、平均上下文多长、能接受的首 token 延迟和生成速度是多少。这三个数定了，卡数才有推导依据。用站内部署测算页把参数量、量化档位、上下文长度填进去，能拿到显存和卡数的估算区间。

估算只是起点，落地前必须拿目标机器压一轮。重点看两件事：长上下文时显存是不是还在线性增长，以及批处理加大后吞吐衰减到什么程度。这两点决定了你的配置是「刚好够用」还是「上线就调不动」。

• 先定业务口径：峰值并发、平均上下文、可接受延迟，三项缺一不可。
• 用站内测算页出估算区间，再到站内价格追踪页核对当时的硬件行情。
• 拿目标机器做长上下文和批处理两轮压测，记录显存峰值与吞吐衰减曲线。
• 给推理引擎升级、权重格式更换、并发上涨各留一档冗余，卡刚好装下通常意味着上线就调不动。
• 把结论写成配置建议而不是绝对承诺，注明什么并发和上下文下不适用。