本地部署deepseek最低硬件要求

模型与算力

写给想本地跑 DeepSeek 的个人开发者:讲清显存、内存、磁盘的门槛怎么算,以及达不到门槛时该怎么降档而不是硬扛。

很多人卡在同一处:兴冲冲下了 DeepSeek 的权重,跑起来发现要么加载不动,要么刚出几个字就爆显存,要么回答慢到没法用。问题通常不在模型本身,而在你选的那个版本和你的硬件没对上。这篇不讲哪个模型强,只给你一套自查顺序:先看内存够不够装下,再看显存够不够放推理时的那部分,最后看速度你能忍到什么程度。跑不动时该往哪降,也有明确的做法。

很多人卡在同一个地方:权重下完了,跑起来要么加载不动,要么刚出几个字就爆显存,要么慢到没法用。问题基本不在模型本身,而在你选的版本和手上这台机器没对上。这篇不讲哪个模型强,只给一套自查顺序:先看内存够不够装下,再看显存够不够放推理时那部分,最后看速度你能不能忍。

这里说的「最低要求」不是一个固定数字,而是一条随你选择变化的线。量化档位、上下文长度、并发数,任何一项变了,门槛都跟着变。所以正确做法是先确认自己的使用方式,再倒推硬件够不够,而不是先问「多少 G 才能跑」。

先分清两件事:模型文件放哪,和跑起来时放哪

下载下来的权重文件主要占磁盘和内存,加载时可以先进内存再搬上显存,不是所有模型都必须整份塞进显存。真正决定能不能跑的是推理过程中同时驻留在显存里的那部分,它跟参数量、量化档位、上下文长度都有关。这两笔账要分开算,混在一起估很容易误判。

  • 常见误区:C 盘剩几十 G 就以为够了,实际要同时留出权重文件、加载缓存和系统占用的余量
  • 加载阶段失败,先怀疑内存不够,而不是第一时间怪显卡
  • 显存够不够,要在你实际会用的上下文长度下看,不是用最短输入试出来就算数
  • 拿不准量级,先去站内 models/deploy 看你那个尺寸对应的测算范围,别凭感觉估

显存门槛随量化档位变化,不是一个固定数字

同一参数量,全精度和低位量化之间能差出数倍,所以「多大模型要多少显存」必须先绑定量化方式再谈。判断顺序是:先确定你能接受的量化档位,再去看这个档位下的实际占用,最后倒推你手上的卡够不够。跳过前两步直接问数字,得到的答案对你没有意义。

量化思路显存占用质量影响适合谁
档位保留较多偏高长文与代码任务更稳显存宽裕、看重输出质量
档位中等居中多数任务可用,细节偶有掉显存一般、想兼顾速度
档位压得很低最低长逻辑链和代码容易飘只想跑通、能接受复测
混合卸载取决于分配速度下降明显显存不够但内存很大

量化不是白拿的:档位压得越低,长文推理和代码类任务的稳定性越容易掉。掉到什么程度要自己拿真实任务试,别只信别人一句「能用」。站内 ai-dict/category/hardware 把显存、带宽这些名词的差别讲得比较直白,拿不准先过一遍再动手。

内存、磁盘、CPU 这三项容易被忽略,但一样会卡住你

内存不够的表现是加载阶段直接失败或者疯狂读盘,不是跑起来才慢,所以加载失败先查内存再怀疑显卡。磁盘要同时留出权重文件本身、下载过程中的临时文件,以及量化转换时的中间产物,这三份加起来往往超过你的预期。只按权重文件大小留空间,很容易中途卡住。

  1. 查内存余量把浏览器和编辑器这类吃内存的进程关掉,再看空闲内存能不能覆盖加载峰值,不是看总数。
  2. 查磁盘余量在权重文件大小基础上多留一段缓冲,用来放下载临时文件和格式转换的中间产物。
  3. 看 CPU 与带宽CPU 核数和内存带宽决定混合卸载时能分担多少,这两项弱,卸载再多也快不起来。
  4. 边调边看占用对照 tools 里的本地检测与换算工具,调一层看一层占用,别一次改到底。

如果你的卡显存不够但内存很大,可以走 CPU 加显存混合卸载的路子,代价是速度会明显下降。这条路适合偶尔问答,不适合接进编辑器做实时补全。

能跑和能用来干活,中间隔着一条速度线

先明确你的使用方式:偶尔问答可以忍受慢,接进编辑器或做批量处理就对速度很敏感,两者对硬件的要求差一个档。同一台机器,前者可能觉得够用,后者可能完全不能接受。所以问「最低要求」之前,先问自己打算怎么用它。

  • 上下文长度是隐形消耗,同一份权重开长上下文和开短上下文,显存占用与出字速度都不一样
  • 测速别只看第一次输出,要跑一段连续对话,看显存会不会随上下文累积一路涨上去
  • 注意首次加载时间和后续响应时间的区别,前者慢不代表日常不好用
  • 接进编辑器这类场景,重点看出字速度和稳定性,而不是峰值表现

拿不准自己的卡属于什么水平,去 stations 里对照规格,再回 models/deploy 做一遍测算。数字会随当时的量化实现和运行环境变化,别把别人截图里的数值当成你的门槛,以你自己实测为准。

跑不动时的降档顺序:先改配置,再改模型

跑不动的第一反应常常是换更小的模型,但换模型代价最大,很多能力边界跟着变。更划算的做法是先从配置下手:压上下文长度和并发数,这两项最容易见效,而且不损失模型本身的能力。确认配置已经压到合理下限,再考虑动模型。

顺序动作代价验证方式
第一步压上下文长度与并发数基本没损失同样的任务再跑一遍,看是否还爆显存
第二步换更低的量化档位质量一定下降拿你自己的真实任务复测,不看别人结论
第三步换更小参数量版本能力边界变化重跑你常用的一批任务,确认还能用
兜底不自建,改用外部算力长期成本变化去 price-watch 核对当时的价目再决定

如果三步走完还是不行,那说明本地这条路在你当前硬件上不划算,该考虑租卡或者直接调 API。这道题站内已经有自建与调用对比的文章讲得更细,这里只强调一点:别为了「本地」两个字硬扛,算下来不划算就该换路。

下一步先去这个页面把你的尺寸和量化档位对一遍,看显存和内存落在什么区间,再决定是降档还是换方案。

常见问题

只有一张消费级显卡,能跑得动 DeepSeek 吗?

能跑,但取决于你选哪个尺寸和哪个量化档位。小尺寸加低位量化在消费级卡上是可行的,旗舰尺寸则基本没戏。建议先按「能接受的量化档位」反推,再到站内 /models/deploy 跑一遍测算,别拿别人的配置直接套自己的卡。

显存刚好够,为什么跑起来还是爆?

大概率是上下文长度和缓存在吃余量。模型本身占的是底数,实际运行时还要给 KV 缓存、批处理和你系统里其他占显存的程序留空间。先把上下文调短、关掉不用的图形程序再试,顺序对了很快能定位。

内存和显存,哪个更该优先升级?

看你现在卡在哪一步。加载阶段就失败,通常先补内存;能加载但一出字就崩或者慢得离谱,那瓶颈在显存和带宽。先按上面那套顺序定位清楚,再决定花钱,别两个一起加。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。