deepseek v3 本地部署 windows

你在 Windows 上想把 DeepSeek V3 跑起来，大概率会卡在三处：不知道自家机器够不够、装完启动就报显存不足、跑起来又慢得没法用。这篇不吹参数，只给一条能照着走的路线：先量硬件和模型体积，再挑推理方式与量化档位，最后按固定顺序排查报错。具体型号对应的数字，到站内页面看当时的实测值。

你在 Windows 上想把 DeepSeek V3 跑起来，大概率卡在三处：不知道自家机器够不够、装完一启动就报显存不足、勉强跑起来又慢得没法用。这篇不聊参数故事，只给一条能照着走的路线：先量硬件和模型体积，再挑推理方式与量化档位，最后按固定顺序把报错一个个排掉。

先说清一件事：具体显卡型号对应什么数字、哪个量化档位需要多少显存，这类会随时间变的东西一律不写死，你到站内页面看当时的实测值就行。本文只讲判断标准和动作顺序，剩下的是你对着自己机器核对。

第一步：先量机器，别急着下载

下载权重动辄几十 GB，下载前花五分钟把三个数记在记事本里：显卡显存、系统内存、非系统盘的可用磁盘。模型体积要按你打算用的量化档位重新算一遍，别用原始体积估，估算口径和部署测算看 /models/deploy。

• 显卡显存决定单卡能装多少层，是第一个瓶颈，先看它
• 系统内存决定 offload 时能兜住多少，显存不够时全靠它
• 非系统盘可用空间要留足余量，权重、缓存、临时文件都会占

「能装下」和「能跑动」是两件事。装下看的是显存加内存再加 offload 能不能容纳；跑动看的是显存带宽和算力，同样装得下，速度可能差出好几倍。独显、核显、纯 CPU 三条路差别又很大，先确认自己属于哪条，再决定后面用哪种推理方式。

第二步：选推理方式和量化档位

Windows 上常见三条路：Ollama 这类一键工具、llama.cpp 系的本地构建、vLLM 这类偏服务的框架。前两者上手快，适合单机自己用；后者更适合要并发和吞吐的场景，但 Windows 上的安装成本也更高。选之前先想清楚你是「自己聊天用」还是「要给别人提供接口」。

量化档位本质是拿质量换显存：档位越低越容易装下，但输出越容易变味，取舍思路可以看 /ai-dict/category/tech 里的解释。顺序很关键——先按你能接受的量化档位反推显存需求，再回来看显卡够不够，别倒过来先买卡再发现档位降不下来。

• 显存刚好卡在边界上，短期能跑，一加长上下文就崩，宁可降一档量化也别硬撑
• 对输出质量敏感的场景，别为了塞进显存把档位压太低
• 打算长期做接口服务，显存要留出并发余量，不是单人能用就行

第三步：Windows 上的安装与启动顺序

顺序错了会白等一次下载。先装运行环境、更新显卡驱动、确认版本能对上，再下权重；环境和驱动没配好就下模型，最后多半还是要重来。权重放非系统盘，并给模型目录单独设一个路径，后面换版本、清缓存都省事。

1. 准备环境确认显卡驱动和运行环境版本匹配，装完用一条版本命令验证能正常返回
2. 下载权重放到非系统盘的独立目录，下完核对文件完整性，别跳过这一步
3. 最小验证用一条短提示词跑通问答，确认能出结果再往下走
4. 逐步加压把上下文加长、并发加上去，每加一项记一次表现，崩了才知道是哪一项导致
5. 量延迟基线用 /tools/speed-test 量一遍本地服务的响应延迟，后面调参才有对比参照

做接口对接时，先确认本地服务监听的是哪个地址和端口，再谈别的。这一步没确认就去写客户端代码，后面会花更多时间找「为什么连不上」。

第四步：跑不起来时按这个顺序查

报错先分四类：驱动或运行环境问题、显存不足、权重文件损坏或不匹配、端口占用。四类的处理方式完全不同，先归类再动手，别看到报错就重装。

• 显存不足的排查顺序：降量化档位 → 缩短上下文 → 减少并发 → 开 offload
• 一步只改一项，改完立刻复测，几项一起改等于没排查
• 速度慢通常不是模型的问题，而是显存不够、部分层跑在内存或 CPU 上
• 用 /tools/speed-test 对比调参前后的数字，凭感觉判断很容易走偏

本地部署的难点从来不是下载，而是先量清楚机器、再按顺序改一个变量。