搜「非法内存」的人,多半刚在 4090 上把某个模型拉起来,跑了几轮对话或者一加并发就崩,报错里一堆看不懂的地址。这时候最容易干的事是重装环境、换框架、重下模型,折腾半天发现没用。这篇先把这类报错拆成几层,告诉你怎么用几分钟定位它在哪一层,再决定改什么。
搜「非法内存」这四个字的人,基本都在同一个场景里:模型拉起来了,聊几句还行,一加并发或者上下文一长,进程就崩,日志里一串十六进制地址加一句 illegal memory access。第一反应通常是环境装坏了,于是删掉虚拟环境、换框架版本、重新下模型,折腾到半夜发现还是崩。
这类报错值得先分个层。它要么是显存真被吃满了,程序还要往里塞;要么是格式和加载器对不上,读到了一块不属于它的地址;要么干脆是参数填过了头。三种原因表现相似,改法完全不同。下面按你实际会在终端里看到的东西,一层层往下扒。
这个报错到底在说什么
非法内存访问不是「内存条坏了」的意思。它的意思是:程序算出了一个地址,跑去读或者写,结果那块区域它没有权限碰。在 GPU 上,最常见的情况是有人申请了一块显存,还没拿到就先用,或者切片的边界算错了。硬件本身出问题的概率,比参数填错低得多。
想让这句话有用,得先看清你是谁启的服务。ollama、llama.cpp 直接跑、vllm 起 API,这三套东西的日志长得完全不一样,同一句报错背后的触发点也不同。别只看最后一行,往上翻到第一个抛异常的位置,那里通常写着具体是哪个 tensor 的形状对不上,或者哪一步申请显存失败。
- 显存被占满后继续申请:崩之前显存已经贴到上限,属于资源问题
- 量化格式和加载器不匹配:权重能读进来一部分,跑到某一层才炸
- 上下文长度或批大小超出预留:空跑没事,一上真实请求就崩
- 驱动或 CUDA 与框架要求的版本错位:表现得很随机,换个模型又好了
第一件事:分清是显存不够还是地址越界
开一个终端跑 nvidia-smi,加个循环刷新,另一边照常压请求。盯着显存那一栏看崩之前的走势。如果数字一路爬到最后贴近总容量,然后进程没了,那基本就是显存不够,别往格式上想。这种情况靠降量化档位、砍上下文、把一部分层放到内存里,都能缓过来,换卡是最后一步。
反过来,显存一直很宽裕,进程却在加载阶段或者某个固定请求上必崩,那就更像地址越界。这时候要回头核对模型文件和加载方式是不是同一套。拿个 GGUF 丢给只认 safetensors 的加载器,或者把 GPTQ 的权重塞进 llama.cpp,都会得到类似的一串地址报错。
| 观察到的现象 | 更像哪类问题 | 先动哪里 |
|---|---|---|
| 崩溃前显存贴近上限 | 显存不足 | 降量化、减上下文、卸载部分层 |
| 加载到一半就崩,显存很空 | 格式或加载器不匹配 | 核对模型后缀与推理框架 |
| 单条能跑,加并发就崩 | 预留不够 | 把批大小和并发压到 1 再逐步加 |
| 换小模型正常,换大模型必崩 | 参数超出能力 | 按实际显存重算层数和上下文 |
几格参数最容易填错,逐个对一遍
配置文件里那几个数字,是这类报错的高发区。上下文长度这一格,很多人直接填一个很大的值图省事,但模型自己支持的上限没那么大,加载时申请 KV 缓存就会失败。填之前先确认模型卡上写的最大长度,别拍脑袋。
GPU 层数或者显存占比也一样。手动设的层数超过实际能放下的量,运行时就会越界。稳妥的做法是先让它自动分配,跑通了再手动调。批大小和并发是另一个坑:单条请求能跑,不代表四条能跑,因为 KV 缓存是按并发翻倍的。先按 1 跑通,再往上加,每次加完压一轮。
量化格式这格最容易被忽略。模型文件名后缀就是线索,GGUF 归 llama.cpp 那一系,GPTQ 和 AWQ 归 vllm 那一系,两边的加载方式不通用。下错一个文件,前面调的参数全白费。
- 上下文长度
- 不能超过模型自身支持的上限,否则申请缓存阶段就失败
- GPU 层数 / 显存占比
- 手动值别超过实际可用显存,先自动再手动
- 批大小与并发
- KV 缓存随并发翻倍,从 1 开始逐步加压
- 量化格式
- 模型后缀要和推理框架对得上,不通用
照着这个顺序排,别一上来就重装
- 核对驱动与 CUDA先确认驱动版本和 CUDA 版本落在框架要求的区间内。版本错位经常伪装成显存报错,去框架官方文档的兼容表对一遍,不一致就先修这一层。
- 只加载不推理单独写个脚本把模型权重读进来就退出,不跑任何生成。能完整读完说明文件没坏,读不完就是文件或格式的问题。
- 最短输入跑一次用一句话的输入跑一轮,确认基础链路通。这一步过了,再把上下文逐步加长,每次只改一个变量。
- 加并发压一轮单条稳了以后再加并发,从 2 开始翻倍往上。崩在哪一档,就把批大小和并发压回上一档,记下这个上限。
- 换小模型做对照拿一个确定能跑的小模型走同样流程。小模型也崩,问题在环境;小模型正常,问题在配置或模型本身。
这个顺序的道理是先排除环境、再排除文件、最后才动参数。跳过前面直接调参数,很容易在一个本来就装错的环境里反复试,试到天亮也试不出结果。
哪些情况这套排查不适用
有一类情况不该在软件层绕。机器跑着跑着掉卡、屏幕花、风扇转速异常,或者一满载就断电重启,这些先查供电和散热。软件参数再怎么调,也治不了硬件本身的问题,硬调只会让你误以为找到了规律。
多卡机器,或者用了转接线、外置显卡坞的,问题可能出在链路带宽和识别上,这时候看到的显存数字未必是全量。租来的机器还要跟提供方确认是否被限速、是否分时共享,你看到的空闲显存可能随时被别人拿走。
还有个常见误判:把报错归到框架版本上,连着换了好几个版本。实际用下来,版本问题通常伴随一堆其它报错一起出现,而不是只报一句非法内存。如果只有这一句,先回去看显存曲线和参数表。
下一步想确认你手上的模型和推理框架该怎么配、各家接口的计费口径怎么算,去站内的模型资料库和价格追踪页对一遍当时的数字,比自己猜要快。→常见问题
报非法内存是不是显卡坏了?
多数不是。先看崩溃前显存有没有贴上限、是不是只在长上下文或高并发时出现。真正硬件问题通常伴随掉卡、花屏或者开机就异常,单纯跑模型报地址错误,九成以上还是配置和显存的问题。
把量化调到最低就不报错了吗?
能降低概率,但不是万能。量化档位只影响权重占用的显存,KV 缓存还跟上下文长度和并发走。量化调到很低仍然崩,就该去查加载器格式对不对、上下文是不是填超了,而不是继续往下压精度。
同一个模型昨天能跑今天崩,怎么回事?
先看有没有改过参数、升过驱动或框架版本,再看显存是不是被别的进程占着。还有一种常见情况是模型文件下载不完整,校验一下大小和哈希,能省掉很多来回折腾的时间。