很多人卡在同一处:兴冲冲下了 DeepSeek 的权重,跑起来发现要么加载不动,要么刚出几个字就爆显存,要么回答慢到没法用。问题通常不在模型本身,而在你选的那个版本和你的硬件没对上。这篇不讲哪个模型强,只给你一套自查顺序:先看内存够不够装下,再看显存够不够放推理时的那部分,最后看速度你能忍到什么程度。跑不动时该往哪降,也有明确的做法。
很多人卡在同一个地方:权重下完了,跑起来要么加载不动,要么刚出几个字就爆显存,要么慢到没法用。问题基本不在模型本身,而在你选的版本和手上这台机器没对上。这篇不讲哪个模型强,只给一套自查顺序:先看内存够不够装下,再看显存够不够放推理时那部分,最后看速度你能不能忍。
这里说的「最低要求」不是一个固定数字,而是一条随你选择变化的线。量化档位、上下文长度、并发数,任何一项变了,门槛都跟着变。所以正确做法是先确认自己的使用方式,再倒推硬件够不够,而不是先问「多少 G 才能跑」。
先分清两件事:模型文件放哪,和跑起来时放哪
下载下来的权重文件主要占磁盘和内存,加载时可以先进内存再搬上显存,不是所有模型都必须整份塞进显存。真正决定能不能跑的是推理过程中同时驻留在显存里的那部分,它跟参数量、量化档位、上下文长度都有关。这两笔账要分开算,混在一起估很容易误判。
- 常见误区:C 盘剩几十 G 就以为够了,实际要同时留出权重文件、加载缓存和系统占用的余量
- 加载阶段失败,先怀疑内存不够,而不是第一时间怪显卡
- 显存够不够,要在你实际会用的上下文长度下看,不是用最短输入试出来就算数
- 拿不准量级,先去站内 models/deploy 看你那个尺寸对应的测算范围,别凭感觉估
显存门槛随量化档位变化,不是一个固定数字
同一参数量,全精度和低位量化之间能差出数倍,所以「多大模型要多少显存」必须先绑定量化方式再谈。判断顺序是:先确定你能接受的量化档位,再去看这个档位下的实际占用,最后倒推你手上的卡够不够。跳过前两步直接问数字,得到的答案对你没有意义。
| 量化思路 | 显存占用 | 质量影响 | 适合谁 |
|---|---|---|---|
| 档位保留较多 | 偏高 | 长文与代码任务更稳 | 显存宽裕、看重输出质量 |
| 档位中等 | 居中 | 多数任务可用,细节偶有掉 | 显存一般、想兼顾速度 |
| 档位压得很低 | 最低 | 长逻辑链和代码容易飘 | 只想跑通、能接受复测 |
| 混合卸载 | 取决于分配 | 速度下降明显 | 显存不够但内存很大 |
量化不是白拿的:档位压得越低,长文推理和代码类任务的稳定性越容易掉。掉到什么程度要自己拿真实任务试,别只信别人一句「能用」。站内 ai-dict/category/hardware 把显存、带宽这些名词的差别讲得比较直白,拿不准先过一遍再动手。
内存、磁盘、CPU 这三项容易被忽略,但一样会卡住你
内存不够的表现是加载阶段直接失败或者疯狂读盘,不是跑起来才慢,所以加载失败先查内存再怀疑显卡。磁盘要同时留出权重文件本身、下载过程中的临时文件,以及量化转换时的中间产物,这三份加起来往往超过你的预期。只按权重文件大小留空间,很容易中途卡住。
- 查内存余量把浏览器和编辑器这类吃内存的进程关掉,再看空闲内存能不能覆盖加载峰值,不是看总数。
- 查磁盘余量在权重文件大小基础上多留一段缓冲,用来放下载临时文件和格式转换的中间产物。
- 看 CPU 与带宽CPU 核数和内存带宽决定混合卸载时能分担多少,这两项弱,卸载再多也快不起来。
- 边调边看占用对照 tools 里的本地检测与换算工具,调一层看一层占用,别一次改到底。
如果你的卡显存不够但内存很大,可以走 CPU 加显存混合卸载的路子,代价是速度会明显下降。这条路适合偶尔问答,不适合接进编辑器做实时补全。
能跑和能用来干活,中间隔着一条速度线
先明确你的使用方式:偶尔问答可以忍受慢,接进编辑器或做批量处理就对速度很敏感,两者对硬件的要求差一个档。同一台机器,前者可能觉得够用,后者可能完全不能接受。所以问「最低要求」之前,先问自己打算怎么用它。
- 上下文长度是隐形消耗,同一份权重开长上下文和开短上下文,显存占用与出字速度都不一样
- 测速别只看第一次输出,要跑一段连续对话,看显存会不会随上下文累积一路涨上去
- 注意首次加载时间和后续响应时间的区别,前者慢不代表日常不好用
- 接进编辑器这类场景,重点看出字速度和稳定性,而不是峰值表现
拿不准自己的卡属于什么水平,去 stations 里对照规格,再回 models/deploy 做一遍测算。数字会随当时的量化实现和运行环境变化,别把别人截图里的数值当成你的门槛,以你自己实测为准。
跑不动时的降档顺序:先改配置,再改模型
跑不动的第一反应常常是换更小的模型,但换模型代价最大,很多能力边界跟着变。更划算的做法是先从配置下手:压上下文长度和并发数,这两项最容易见效,而且不损失模型本身的能力。确认配置已经压到合理下限,再考虑动模型。
| 顺序 | 动作 | 代价 | 验证方式 |
|---|---|---|---|
| 第一步 | 压上下文长度与并发数 | 基本没损失 | 同样的任务再跑一遍,看是否还爆显存 |
| 第二步 | 换更低的量化档位 | 质量一定下降 | 拿你自己的真实任务复测,不看别人结论 |
| 第三步 | 换更小参数量版本 | 能力边界变化 | 重跑你常用的一批任务,确认还能用 |
| 兜底 | 不自建,改用外部算力 | 长期成本变化 | 去 price-watch 核对当时的价目再决定 |
如果三步走完还是不行,那说明本地这条路在你当前硬件上不划算,该考虑租卡或者直接调 API。这道题站内已经有自建与调用对比的文章讲得更细,这里只强调一点:别为了「本地」两个字硬扛,算下来不划算就该换路。
下一步先去这个页面把你的尺寸和量化档位对一遍,看显存和内存落在什么区间,再决定是降档还是换方案。→常见问题
只有一张消费级显卡,能跑得动 DeepSeek 吗?
能跑,但取决于你选哪个尺寸和哪个量化档位。小尺寸加低位量化在消费级卡上是可行的,旗舰尺寸则基本没戏。建议先按「能接受的量化档位」反推,再到站内 /models/deploy 跑一遍测算,别拿别人的配置直接套自己的卡。
显存刚好够,为什么跑起来还是爆?
大概率是上下文长度和缓存在吃余量。模型本身占的是底数,实际运行时还要给 KV 缓存、批处理和你系统里其他占显存的程序留空间。先把上下文调短、关掉不用的图形程序再试,顺序对了很快能定位。
内存和显存,哪个更该优先升级?
看你现在卡在哪一步。加载阶段就失败,通常先补内存;能加载但一出字就崩或者慢得离谱,那瓶颈在显存和带宽。先按上面那套顺序定位清楚,再决定花钱,别两个一起加。