4090部署deepseek

接入与开发

面向想在单张 4090 上跑 DeepSeek 的开发者,讲清选哪种量化方案、怎么装、显存怎么分配,以及跑不动时按什么顺序排查。

手上有一张 4090,想本地把 DeepSeek 跑起来,最容易卡在两件事上:一是到底选哪个体量的模型和量化档位,二是装完了显存不够、或者跑起来慢到没法用。这篇给一套从选型到验证的动作顺序,量化档位和速度数字都不写死,让你按自己机器的实际情况去站内页面核对。

手上有一张 4090,想本地把 DeepSeek 跑起来,最容易卡在两件事上:一是到底选哪个体量的模型和量化档位,二是装完了显存不够、或者跑起来慢到没法用。这篇给一套从选型到验证的动作顺序,量化档位和速度数字都不写死,让你按自己机器的实际情况到站内页面核对。

注意这篇只讲单卡部署这一件事。如果你还在纠结要不要本地部署、或者想先看看各家 API 的性价比,那是另一个话题,这里不展开。下面按「能不能跑 → 怎么装 → 显存怎么分 → 怎么验证 → 跑不动怎么查」的顺序走。

先判断可行不可行:单卡 4090 能跑什么

24GB 显存这个前提决定了你只能选参数量适中、或者经过量化压缩的权重。完整精度的大参数版本基本放不下,别一上来就下最大的那个,下载几十分钟、加载直接爆显存,纯浪费。

路线适合什么情况要注意什么
量化权重 + 通用推理框架想快速跑通、用途偏对话或文本处理量化档位越低越省显存,但输出质量会掉,先小范围试
小体量稠密模型对稳定性要求高、不想反复调参能力上限相对低,复杂推理任务容易露怯
稀疏专家结构看参数觉得能放下、想压榨性能显存占用常被低估,加载和首 token 延迟都可能超预期
  • 先确认显存前提:单卡 24GB 是硬约束,任何方案都要围绕它做减法
  • 按用途选路线:只是本地跑通验证走量化,要长期用就优先稳
  • 选型前到站内模型资料库确认有没有现成的量化权重和框架支持,别先下模型再找工具
  • 跑得动和跑得快是两件事,批大小和上下文一调,显存和延迟都会变,先定用途再定档位

装之前先对齐环境:驱动、CUDA、框架版本

顺序是驱动 → CUDA 运行时 → 推理框架 → 模型权重。跳步是绝大多数「装完起不来」的根因,尤其是先在旧环境里 pip 装框架、回头再补驱动的做法,报错信息往往指向错误的方向。

  1. 确认驱动和 CUDA 运行时用系统自带的查询命令看当前驱动支持的 CUDA 版本,再决定框架装哪个版本,别先装框架再回头对齐。
  2. 隔离 Python 环境单独建一个虚拟环境或容器,避免和机器上已有的 AI 库互相污染,这是最常见的一类冲突来源。
  3. 装推理框架按官方说明装对应的推理框架,装完先 import 一次确认没有缺库。
  4. 放模型权重权重放宿主机磁盘,容器里用挂载读,别把几十 GB 文件塞进镜像。
  5. 跑最小请求起服务后发一条最短的测试请求,确认链路通了再写业务代码。

用容器镜像装能少踩坑,代价是镜像体积大、挂载路径要想清楚。如果你这台机器之前装过别的 AI 工具,优先选容器而不是直接在系统 Python 里装。

显存怎么分:上下文、并发、量化的取舍

权重占用
固定的,模型和量化档位定了就定死了,后面能调的空间不在这
KV 缓存
跟随上下文长度线性增长,是最容易吃光显存的一块
并发数
每个并发各自占一份 KV 缓存,直接乘上去
框架预留
框架本身和临时计算占的一小块,通常不大但别忽略

显存大头是三块:权重、KV 缓存、框架预留。权重是固定的,能调的主要是后两块。上下文长度直接决定 KV 缓存大小,并发数再乘上去;单卡上这两项基本是互相挤的关系,想开大上下文就得压并发。

  • 先按「单并发 + 中等上下文」跑通,再逐步往上加
  • 每次只改一个变量,同时改两处就说不清是哪一步起的作用
  • 量化档位越低占用越小,但输出质量会掉;任务对格式和逻辑要求高的话,到站内横向评测看同档位的实际表现再决定
  • 想同时要长上下文和高并发,基本要接受质量或速度上的让步,没有免费午餐

跑完别急着用:三个验证动作

服务起来了不等于能用。下面三组验证分别对应功能、性能、稳定性,跑完把结果记下来,作为下次换模型、改参数的参照。

验证项怎么做看到什么算正常
功能验证同一个提示词连发几次输出稳定、无乱码或中途截断
性能验证量首 token 延迟和每秒出字速度用站内测速页建立你自己的基线
稳定性验证连续跑一段时间的较长请求显存占用平稳,不持续缓慢上涨

功能验证有个容易被忽略的点:同一个提示词多跑几次,如果输出质量忽好忽坏,往往说明量化档位压得太低了,这时候与其继续调参,不如换高一档权重重试。

跑不动时的排查顺序

出问题别乱试,按从外到内、从软到硬的顺序排,绝大多数情况在前两步就能定位。下面这个顺序建议收藏。

  • 第一步看显存:报错关键词通常是内存分配失败或显存不足,解决方向是降上下文、降并发或换更低的量化档
  • 第二步核对模型文件和框架版本是否匹配:表现为启动阶段就报错,或加载到一半崩
  • 第三步检查驱动和 CUDA 运行时是否对得上:这类问题换框架版本没用,得回头对齐底层
  • 第四步才怀疑硬件本身:显存跑满、风扇拉满、系统整体卡死这种全身性症状才指向硬件
  • 全程一次只改一个条件,不然排查结论无效

什么情况下这个顺序不适用:如果你是在容器里跑、而且容器启动就失败,那先看挂载和权限,再走上面的顺序。另外,日志里如果有明确的版本冲突提示,直接按提示对齐版本,不用从头排。

下一步看完上面的流程,建议先去站内模型资料库把候选模型和量化档位过一遍,再决定下载哪个;装完之后到测速页建立你自己的基线数据。

常见问题

单张 4090 能跑得动 DeepSeek 吗?

能跑,但要接受取舍。24GB 显存下你基本只能选量化后的权重或参数量偏小的版本,上下文长度和并发数都要压着来。能不能满足你的用途,取决于你是做个人问答这种低并发场景,还是要给多人提供稳定服务;后者建议先到站内部署测算页面按你的实际用量核一遍。

本地部署和直接调 API,我该选哪个?

看三件事:数据能不能出本地、用量稳不稳定、你有没有精力维护环境。数据敏感或者完全不想联网,本地部署是唯一解;用量波动大、只想尽快出活,调接口省事得多。判断标准和方法在先看适用条件那篇里讲得更细,别只看一次性成本。

跑起来很慢,一般是什么原因?

先分清是首 token 慢还是整体出字慢。首 token 慢多半是上下文太长或者权重加载方式没优化;出字慢通常是显存不够导致部分层被放到内存里。另外量化档位低不等于更快,有些实现解码开销反而更大。按排查顺序一节一步步缩小范围,别同时改多个参数。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。