4090部署大模型提示非法内存,别急着重装:先分清是显存爆了还是参数填错

模型与算力

把 4090 上跑大模型报非法内存这件事拆成显存、量化、参数、驱动四层,给出判断顺序和能直接照做的排查动作。

搜「非法内存」的人,多半刚在 4090 上把某个模型拉起来,跑了几轮对话或者一加并发就崩,报错里一堆看不懂的地址。这时候最容易干的事是重装环境、换框架、重下模型,折腾半天发现没用。这篇先把这类报错拆成几层,告诉你怎么用几分钟定位它在哪一层,再决定改什么。

搜「非法内存」这四个字的人,基本都在同一个场景里:模型拉起来了,聊几句还行,一加并发或者上下文一长,进程就崩,日志里一串十六进制地址加一句 illegal memory access。第一反应通常是环境装坏了,于是删掉虚拟环境、换框架版本、重新下模型,折腾到半夜发现还是崩。

这类报错值得先分个层。它要么是显存真被吃满了,程序还要往里塞;要么是格式和加载器对不上,读到了一块不属于它的地址;要么干脆是参数填过了头。三种原因表现相似,改法完全不同。下面按你实际会在终端里看到的东西,一层层往下扒。

这个报错到底在说什么

非法内存访问不是「内存条坏了」的意思。它的意思是:程序算出了一个地址,跑去读或者写,结果那块区域它没有权限碰。在 GPU 上,最常见的情况是有人申请了一块显存,还没拿到就先用,或者切片的边界算错了。硬件本身出问题的概率,比参数填错低得多。

想让这句话有用,得先看清你是谁启的服务。ollama、llama.cpp 直接跑、vllm 起 API,这三套东西的日志长得完全不一样,同一句报错背后的触发点也不同。别只看最后一行,往上翻到第一个抛异常的位置,那里通常写着具体是哪个 tensor 的形状对不上,或者哪一步申请显存失败。

  • 显存被占满后继续申请:崩之前显存已经贴到上限,属于资源问题
  • 量化格式和加载器不匹配:权重能读进来一部分,跑到某一层才炸
  • 上下文长度或批大小超出预留:空跑没事,一上真实请求就崩
  • 驱动或 CUDA 与框架要求的版本错位:表现得很随机,换个模型又好了

第一件事:分清是显存不够还是地址越界

开一个终端跑 nvidia-smi,加个循环刷新,另一边照常压请求。盯着显存那一栏看崩之前的走势。如果数字一路爬到最后贴近总容量,然后进程没了,那基本就是显存不够,别往格式上想。这种情况靠降量化档位、砍上下文、把一部分层放到内存里,都能缓过来,换卡是最后一步。

反过来,显存一直很宽裕,进程却在加载阶段或者某个固定请求上必崩,那就更像地址越界。这时候要回头核对模型文件和加载方式是不是同一套。拿个 GGUF 丢给只认 safetensors 的加载器,或者把 GPTQ 的权重塞进 llama.cpp,都会得到类似的一串地址报错。

观察到的现象更像哪类问题先动哪里
崩溃前显存贴近上限显存不足降量化、减上下文、卸载部分层
加载到一半就崩,显存很空格式或加载器不匹配核对模型后缀与推理框架
单条能跑,加并发就崩预留不够把批大小和并发压到 1 再逐步加
换小模型正常,换大模型必崩参数超出能力按实际显存重算层数和上下文

几格参数最容易填错,逐个对一遍

配置文件里那几个数字,是这类报错的高发区。上下文长度这一格,很多人直接填一个很大的值图省事,但模型自己支持的上限没那么大,加载时申请 KV 缓存就会失败。填之前先确认模型卡上写的最大长度,别拍脑袋。

GPU 层数或者显存占比也一样。手动设的层数超过实际能放下的量,运行时就会越界。稳妥的做法是先让它自动分配,跑通了再手动调。批大小和并发是另一个坑:单条请求能跑,不代表四条能跑,因为 KV 缓存是按并发翻倍的。先按 1 跑通,再往上加,每次加完压一轮。

量化格式这格最容易被忽略。模型文件名后缀就是线索,GGUF 归 llama.cpp 那一系,GPTQ 和 AWQ 归 vllm 那一系,两边的加载方式不通用。下错一个文件,前面调的参数全白费。

上下文长度
不能超过模型自身支持的上限,否则申请缓存阶段就失败
GPU 层数 / 显存占比
手动值别超过实际可用显存,先自动再手动
批大小与并发
KV 缓存随并发翻倍,从 1 开始逐步加压
量化格式
模型后缀要和推理框架对得上,不通用

照着这个顺序排,别一上来就重装

  1. 核对驱动与 CUDA先确认驱动版本和 CUDA 版本落在框架要求的区间内。版本错位经常伪装成显存报错,去框架官方文档的兼容表对一遍,不一致就先修这一层。
  2. 只加载不推理单独写个脚本把模型权重读进来就退出,不跑任何生成。能完整读完说明文件没坏,读不完就是文件或格式的问题。
  3. 最短输入跑一次用一句话的输入跑一轮,确认基础链路通。这一步过了,再把上下文逐步加长,每次只改一个变量。
  4. 加并发压一轮单条稳了以后再加并发,从 2 开始翻倍往上。崩在哪一档,就把批大小和并发压回上一档,记下这个上限。
  5. 换小模型做对照拿一个确定能跑的小模型走同样流程。小模型也崩,问题在环境;小模型正常,问题在配置或模型本身。

这个顺序的道理是先排除环境、再排除文件、最后才动参数。跳过前面直接调参数,很容易在一个本来就装错的环境里反复试,试到天亮也试不出结果。

哪些情况这套排查不适用

有一类情况不该在软件层绕。机器跑着跑着掉卡、屏幕花、风扇转速异常,或者一满载就断电重启,这些先查供电和散热。软件参数再怎么调,也治不了硬件本身的问题,硬调只会让你误以为找到了规律。

多卡机器,或者用了转接线、外置显卡坞的,问题可能出在链路带宽和识别上,这时候看到的显存数字未必是全量。租来的机器还要跟提供方确认是否被限速、是否分时共享,你看到的空闲显存可能随时被别人拿走。

还有个常见误判:把报错归到框架版本上,连着换了好几个版本。实际用下来,版本问题通常伴随一堆其它报错一起出现,而不是只报一句非法内存。如果只有这一句,先回去看显存曲线和参数表。

下一步想确认你手上的模型和推理框架该怎么配、各家接口的计费口径怎么算,去站内的模型资料库和价格追踪页对一遍当时的数字,比自己猜要快。

常见问题

报非法内存是不是显卡坏了?

多数不是。先看崩溃前显存有没有贴上限、是不是只在长上下文或高并发时出现。真正硬件问题通常伴随掉卡、花屏或者开机就异常,单纯跑模型报地址错误,九成以上还是配置和显存的问题。

把量化调到最低就不报错了吗?

能降低概率,但不是万能。量化档位只影响权重占用的显存,KV 缓存还跟上下文长度和并发走。量化调到很低仍然崩,就该去查加载器格式对不对、上下文是不是填超了,而不是继续往下压精度。

同一个模型昨天能跑今天崩,怎么回事?

先看有没有改过参数、升过驱动或框架版本,再看显存是不是被别的进程占着。还有一种常见情况是模型文件下载不完整,校验一下大小和哈希,能省掉很多来回折腾的时间。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。