手上有一张 4090,想本地把 DeepSeek 跑起来,最容易卡在两件事上:一是到底选哪个体量的模型和量化档位,二是装完了显存不够、或者跑起来慢到没法用。这篇给一套从选型到验证的动作顺序,量化档位和速度数字都不写死,让你按自己机器的实际情况去站内页面核对。
手上有一张 4090,想本地把 DeepSeek 跑起来,最容易卡在两件事上:一是到底选哪个体量的模型和量化档位,二是装完了显存不够、或者跑起来慢到没法用。这篇给一套从选型到验证的动作顺序,量化档位和速度数字都不写死,让你按自己机器的实际情况到站内页面核对。
注意这篇只讲单卡部署这一件事。如果你还在纠结要不要本地部署、或者想先看看各家 API 的性价比,那是另一个话题,这里不展开。下面按「能不能跑 → 怎么装 → 显存怎么分 → 怎么验证 → 跑不动怎么查」的顺序走。
先判断可行不可行:单卡 4090 能跑什么
24GB 显存这个前提决定了你只能选参数量适中、或者经过量化压缩的权重。完整精度的大参数版本基本放不下,别一上来就下最大的那个,下载几十分钟、加载直接爆显存,纯浪费。
| 路线 | 适合什么情况 | 要注意什么 |
|---|---|---|
| 量化权重 + 通用推理框架 | 想快速跑通、用途偏对话或文本处理 | 量化档位越低越省显存,但输出质量会掉,先小范围试 |
| 小体量稠密模型 | 对稳定性要求高、不想反复调参 | 能力上限相对低,复杂推理任务容易露怯 |
| 稀疏专家结构 | 看参数觉得能放下、想压榨性能 | 显存占用常被低估,加载和首 token 延迟都可能超预期 |
- 先确认显存前提:单卡 24GB 是硬约束,任何方案都要围绕它做减法
- 按用途选路线:只是本地跑通验证走量化,要长期用就优先稳
- 选型前到站内模型资料库确认有没有现成的量化权重和框架支持,别先下模型再找工具
- 跑得动和跑得快是两件事,批大小和上下文一调,显存和延迟都会变,先定用途再定档位
装之前先对齐环境:驱动、CUDA、框架版本
顺序是驱动 → CUDA 运行时 → 推理框架 → 模型权重。跳步是绝大多数「装完起不来」的根因,尤其是先在旧环境里 pip 装框架、回头再补驱动的做法,报错信息往往指向错误的方向。
- 确认驱动和 CUDA 运行时用系统自带的查询命令看当前驱动支持的 CUDA 版本,再决定框架装哪个版本,别先装框架再回头对齐。
- 隔离 Python 环境单独建一个虚拟环境或容器,避免和机器上已有的 AI 库互相污染,这是最常见的一类冲突来源。
- 装推理框架按官方说明装对应的推理框架,装完先 import 一次确认没有缺库。
- 放模型权重权重放宿主机磁盘,容器里用挂载读,别把几十 GB 文件塞进镜像。
- 跑最小请求起服务后发一条最短的测试请求,确认链路通了再写业务代码。
用容器镜像装能少踩坑,代价是镜像体积大、挂载路径要想清楚。如果你这台机器之前装过别的 AI 工具,优先选容器而不是直接在系统 Python 里装。
显存怎么分:上下文、并发、量化的取舍
- 权重占用
- 固定的,模型和量化档位定了就定死了,后面能调的空间不在这
- KV 缓存
- 跟随上下文长度线性增长,是最容易吃光显存的一块
- 并发数
- 每个并发各自占一份 KV 缓存,直接乘上去
- 框架预留
- 框架本身和临时计算占的一小块,通常不大但别忽略
显存大头是三块:权重、KV 缓存、框架预留。权重是固定的,能调的主要是后两块。上下文长度直接决定 KV 缓存大小,并发数再乘上去;单卡上这两项基本是互相挤的关系,想开大上下文就得压并发。
- 先按「单并发 + 中等上下文」跑通,再逐步往上加
- 每次只改一个变量,同时改两处就说不清是哪一步起的作用
- 量化档位越低占用越小,但输出质量会掉;任务对格式和逻辑要求高的话,到站内横向评测看同档位的实际表现再决定
- 想同时要长上下文和高并发,基本要接受质量或速度上的让步,没有免费午餐
跑完别急着用:三个验证动作
服务起来了不等于能用。下面三组验证分别对应功能、性能、稳定性,跑完把结果记下来,作为下次换模型、改参数的参照。
| 验证项 | 怎么做 | 看到什么算正常 |
|---|---|---|
| 功能验证 | 同一个提示词连发几次 | 输出稳定、无乱码或中途截断 |
| 性能验证 | 量首 token 延迟和每秒出字速度 | 用站内测速页建立你自己的基线 |
| 稳定性验证 | 连续跑一段时间的较长请求 | 显存占用平稳,不持续缓慢上涨 |
功能验证有个容易被忽略的点:同一个提示词多跑几次,如果输出质量忽好忽坏,往往说明量化档位压得太低了,这时候与其继续调参,不如换高一档权重重试。
跑不动时的排查顺序
出问题别乱试,按从外到内、从软到硬的顺序排,绝大多数情况在前两步就能定位。下面这个顺序建议收藏。
- 第一步看显存:报错关键词通常是内存分配失败或显存不足,解决方向是降上下文、降并发或换更低的量化档
- 第二步核对模型文件和框架版本是否匹配:表现为启动阶段就报错,或加载到一半崩
- 第三步检查驱动和 CUDA 运行时是否对得上:这类问题换框架版本没用,得回头对齐底层
- 第四步才怀疑硬件本身:显存跑满、风扇拉满、系统整体卡死这种全身性症状才指向硬件
- 全程一次只改一个条件,不然排查结论无效
什么情况下这个顺序不适用:如果你是在容器里跑、而且容器启动就失败,那先看挂载和权限,再走上面的顺序。另外,日志里如果有明确的版本冲突提示,直接按提示对齐版本,不用从头排。
下一步看完上面的流程,建议先去站内模型资料库把候选模型和量化档位过一遍,再决定下载哪个;装完之后到测速页建立你自己的基线数据。→常见问题
单张 4090 能跑得动 DeepSeek 吗?
能跑,但要接受取舍。24GB 显存下你基本只能选量化后的权重或参数量偏小的版本,上下文长度和并发数都要压着来。能不能满足你的用途,取决于你是做个人问答这种低并发场景,还是要给多人提供稳定服务;后者建议先到站内部署测算页面按你的实际用量核一遍。
本地部署和直接调 API,我该选哪个?
看三件事:数据能不能出本地、用量稳不稳定、你有没有精力维护环境。数据敏感或者完全不想联网,本地部署是唯一解;用量波动大、只想尽快出活,调接口省事得多。判断标准和方法在先看适用条件那篇里讲得更细,别只看一次性成本。
跑起来很慢,一般是什么原因?
先分清是首 token 慢还是整体出字慢。首 token 慢多半是上下文太长或者权重加载方式没优化;出字慢通常是显存不够导致部分层被放到内存里。另外量化档位低不等于更快,有些实现解码开销反而更大。按排查顺序一节一步步缩小范围,别同时改多个参数。