deepseek-v2 本地部署需要什么配置

很多人兴冲冲下了权重，跑起来才发现机器不够：显存爆了、内存不够、量化选错导致答非所问。这篇不吹模型多强，只讲三件事——先算要多少资源、挑哪个量化档、跑不动时按什么顺序降级。数字随时间变，具体到站内页面核对当时的报价和规格。

很多人兴冲冲下了权重，跑起来才发现机器不够：显存爆了、内存不够、量化选错导致答非所问。这篇不吹模型多强，只讲三件事——先算要多少资源、挑哪个量化档、跑不动时按什么顺序降级。

核心思路是别凭传说买卡，而是先弄清权重本身，再按自己的场景算显存和内存，最后用实测确认上限。数字随时间变，具体到站内页面核对当时的报价和规格。

先搞清你下的是什么权重，再谈配置

同一名字可能对应原始权重、合并版、社区量化版，体积差好几倍。先看文件清单里的分片数量和精度后缀，再决定买什么卡，别反过来。

• 看文件清单：分片数量、精度后缀、是否带额外的索引文件
• 确认是稠密结构还是带专家路由的稀疏结构，稀疏模型总参数大但每次激活的参数少，显存算法和稠密模型不是一套
• 看许可证与商用边界，公司内部用和对外提供服务是两回事
• 到 /ai-dict 与开源权重相关条目先对齐概念，别拿社区版的名义去估官方版的资源

显存、内存、磁盘各要多少：按预算而不是按传说

显存由三块组成：权重占用、KV Cache、框架开销。权重随量化档位下降，KV Cache 随上下文长度和并发线性上涨，所以别只算权重。内存不够时框架会把部分层放 CPU，能跑但速度掉得厉害。磁盘要留出权重文件加缓存的空间，量化版和原版同时留着最占地方。

按自己的实际场景代入：单轮问答、长文档摘要、多人并发，三种情况要的显存不是一个量级。到 /models/deploy 与 /compute/sizing 按参数量和量化档位跑一遍，别凭印象估。

量化档位怎么挑：先够用，再谈质量

常见顺序是低比特优先省显存、高比特优先保质量。一般不追最高精度，也别一步跳到最激进的档位，中间档往往是性价比区间。选完必须用你自己的题跑一遍再定。

• 先从中间档试，别一上来就最激进，也别默认最高精度
• 量化有精度损失，损失在什么任务上更明显比损失多少更重要
• 代码、数学、长链条推理这几类任务对量化更敏感，要单独验
• 具体每个档位的显存和体积换算用 /tools 里的本地工具算，不要凭印象估
• 档位取舍的通用逻辑见量化相关科普页，看结论前先看清楚它测的是什么任务

跑起来之后怎么验证配置够不够

只看能不能启动没有意义。真正要看三项：首 token 延迟、每秒生成 token、长上下文时是否被截断。这三项决定了这套配置在你手里能不能干活。

1. 先跑单路基线用一段固定提示词跑通，记下首 token 延迟和每秒生成 token，作为后面所有对比的基准。
2. 递增上下文把同一段提示词从短到长递增，观察显存曲线在第几档翘头，那就是你这台机器的真实上限。
3. 再加并发单路跑稳后再上并发，多人用时显存先被 KV Cache 吃掉，不是先被权重吃掉，扩容方向别搞反。

跑不动时的降级顺序

报显存不足要分清是加载阶段还是推理阶段：前者是权重大小问题，后者通常是缓存与碎片问题。顺序反了就是白花钱。

• 第一步降上下文长度，通常见效最快且不损失模型质量
• 第二步换更低比特量化，注意会带来精度损失
• 第三步减并发，先保证单路稳定
• 第四步再考虑换卡或加卡，到 /price-watch 与 /rankings 核对当时的可用方案

同一份权重换推理框架后显存表现会变，换框架前先把配置跑通，别把两个变量一起改，否则出了问题根本分不清是框架还是配置。

先算清楚，再挑档位，最后按顺序降级——这三步比任何一张传说配置表都靠谱。