本地部署大模型显存不够常见问题:先别急着换卡,多数卡在算之前

模型与算力

把显存不够拆成算错、配错、跑错三层,给出先核对再动手的顺序,帮你判断是该降规格还是真该加卡。

装完 Ollama 或 vLLM,模型一加载就报显存不足,或者跑着跑着被系统杀掉,这是本地部署最常见的卡点。多数人第一反应是买卡,其实先要分清是估算就错了、参数配错了,还是并发把显存吃光了。这篇按核对顺序走一遍,每一步给判断标准和可执行动作。

装完 Ollama 或 vLLM,模型一加载就报显存不足,或者跑着跑着被系统杀掉,这是本地部署最常撞的墙。多数人的第一反应是去下单买卡,其实先要分清三件事:是显存估算本身就错了,是参数配错了,还是并发把显存吃光了。这三层的处理方式完全不同,混在一起看只会白花钱。

这篇按核对顺序走一遍,每一步给判断标准和可执行动作。核心意思是:先把能靠改配置解决的排除掉,再谈要不要加硬件。顺序搞反了,钱花出去问题还在,那才叫冤。

第一步:你算的那个显存数字,本身可能就不对

显存占用主要由三块组成:模型权重、KV 缓存、框架运行时开销。很多人估算的时候只算了权重,拿参数量乘位宽就得出一个数,后两块直接忽略。结果拿去和实际可用的显存一比,差出一大截,就以为卡不够用。

量化位宽和实际占用也不是一回事。标称 4-bit 的权重,加载后还要反量化缓冲、内存对齐、算子临时空间,按位宽硬算必然偏低。上下文长度这块更容易被低估:把上下文从短档开到长档,KV 缓存可能翻好几倍,权重反倒没怎么变。

第二步:参数和卸载策略,八成问题出在这几格

配置错误是最常见、也最容易冤枉硬件的一类。拿 Ollama 举例,它默认会按显存自动切分层数,可你要是手动设了 num_gpu,又填了个超过实际可用显存的值,加载阶段直接失败。这不是卡不行,是你让它往一个装不下的格子里塞。

  • 多卡分摊只填了设备编号,没开张量并行,模型照样挤在一张卡上,另一张空转
  • 开了 CPU offload 显存是降了,但速度掉得肉眼可见,得先确认自己接受的是慢还是干脆不能用
  • 推理框架的显存预分配比例设太高,把可用显存提前占满,留给并发请求的空间反而更小
  • 上下文长度参数没跟着模型上下文窗口一起调,短请求没事,长输入一进来就崩
  1. 回到保守值跑通卸载层数、张量并行、上下文长度三个参数先设成默认或保守值,确认模型能正常加载不报错
  2. 一次只改一项每轮只调一个参数,调完跑一条实际请求验证,记下哪一格是拐点
  3. 记录基线把跑通时的配置写下来当基线,后面出问题先退回基线,别在多个变量里瞎猜

这套做法的好处是排除法干净。三步走完还不行,才轮到怀疑显存本身不够。中间任何一步改动没验证就继续往下调,最后出问题根本不知道是哪一格引起的。

第三步:跑起来之后才爆,多半是并发和碎片

还有一类问题是加载阶段好好的,一上真实使用就挂。典型表现是单请求能跑通,多人一起用就报错。这时候别再盯着权重看了,问题在 KV 缓存按并发翻倍占用。权重是固定的,缓存是活的,并发一上来它才涨。

另一个隐蔽的麻烦是显存慢慢爬升:服务开着几个小时,占用一点点往上走,最后被杀。这通常跟请求没正常释放缓存有关。重启能缓解,但不解决根因,得去看框架的缓存释放策略有没有配错。

现象大概率原因先动哪
加载就报显存不足估算错或卸载参数超限回保守值重跑,对 /models/deploy 的估算
单请求通、并发挂KV 缓存按并发翻倍调并发上限,别动模型规格
长时间运行缓慢爬升缓存未正常释放查框架缓存策略,重启只是缓解
预分配后并发空间很小显存预分配比例过高降预分配比例,留出并发余量

什么时候该认输,把模型规格降下来

前面几步都排干净了,还是不够用,那就得认。判断标准看任务本身的精度敏感度:摘要、分类、格式转换这类活,降一档量化往往够用,先试再决定,别凭感觉。

反过来,如果每天都要跑长上下文或多路并发,硬撑小卡只会一直在边界上打转,今天调好明天又爆。这时候加卡比调参划算,因为调参的边际收益已经到顶了。只是偶尔验证一个想法的话,租卡按小时跑更合适,这笔账去 /compute/tco 按自己的使用频次算。

有一种情况不适用降规格:任务是代码生成或长文档推理这类对精度敏感的活。量化降太狠,输出质量会明显变差,这时候宁可换一个小参数模型,也别硬压量化精度。降规格和降精度是两码事,别混着做。

下一步把你的参数量、量化档、上下文长度拿去 /models/deploy 对一遍估算,再决定是调参还是加卡,别在第一层就下单。

常见问题

模型加载就报显存不足,但任务管理器看着显存还剩不少,为什么?

多半是框架按总量预留了空间,或者系统和其他进程占了一部分没算进去。先关掉浏览器、其他推理服务再试,还不行就去看推理框架的显存预分配比例,把它调低一点,别直接认定卡不够。

量化到很低档位还是不够,是不是只能换卡?

先确认上下文长度是不是开太大了,KV 缓存经常比权重还吃显存。把上下文降到够用就行,同时限制并发数,很多时候这样就能跑起来。真降不下来再考虑换卡或租卡。

多卡能不能把显存合起来用?

要看推理框架支持不支持张量并行,开了才是把模型拆到多卡上,没开只是各卡跑各自的。开了之后卡间通信有开销,速度不一定线性提升,小模型上多卡收益经常不明显。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。