ollama llama.cpp vllm怎么排查:卡住的那一步通常不在模型上

模型与算力

把三家本地推理工具混着用时怎么定位故障:先分清卡在加载、显存、端口还是参数,再按顺序逐项排除。

装完 ollama 想换 llama.cpp 试量化,或者起 vllm 想跑并发,结果一个报 OOM、一个连不上、一个启动就退出。三个工具的命令长得不像,但排查的落点其实能对齐。这篇给一条从确认进程活着到定位到具体参数的排查顺序,每一步都写清看到什么现象该往哪走,也写清哪些情况这条顺序不适用。

装完 ollama 想试试 llama.cpp 的量化文件,或者起个 vllm 想跑并发,结果一个报显存不够、一个接口连不上、一个启动就退出。三个工具的命令长得不像,文档各写各的,但真出问题时排查的落点其实能对齐。这篇给一条从确认进程活着、一路查到具体参数的顺序,每步都写清看到什么现象该往哪走。

先说清楚一件事:卡住的那一步,多数时候真不在模型上。模型权重是死的,下载完整就是完整,不完整就是文件坏了。真正让人绕圈的,是服务没起来、显存被别人占着、端口撞了、参数填错一格这类外围问题。所以别一上来就怀疑模型,先按顺序把外围排干净。

先分清是哪一个在跟你闹脾气

三个工具的失败位置不太一样。ollama 出问题,多数是服务压根没起、或者模型没拉全就急着调用;llama.cpp 的坑集中在量化文件和启动参数对不对得上;vllm 更多是显存预算和并行配置算错了。你要是拿同一套思路套三个工具,比如用 ollama 的 pull 去判断 vllm 的权重齐不齐,那基本是白折腾,因为它们的模型加载路径根本不是一回事。

动手之前先把现象归个类,这比急着敲命令有用。完全没输出、输出一段就断、能跑但慢、接口连不上,这四类对应的排查路径差别很大。没输出先看进程,断在半路看日志最后一行,能跑但慢是另一篇故事,连不上则要先分清是没起还是起了连不到。

  • 完全没输出:先确认进程在不在,别看终端回显就下结论
  • 输出一段就断:抓日志最后几行,通常是加载到某个阶段崩了
  • 能跑但慢:单独量加载耗时和生成速度,别和起不来混为一谈
  • 接口连不上:分辨没起、绑错地址、被拦这三种情况

第一步永远先确认进程和服务是活的

这一步最容易被跳过。ollama 用服务状态查一下,再拿端口探一探,别只看终端有没有回显——终端安静不代表服务死了,服务活着也不代表端口通。llama.cpp 的 server 模式要确认监听地址和端口真的起来了,启动日志里那行监听提示出现了才算数。vllm 也一样,盯着启动日志找服务就绪那行,没出现就说明还卡在加载阶段。

连不上的时候,先分清三种情况:根本没起、起了但绑在 127.0.0.1、以及防火墙拦了。这三种的改法完全不同。第一种回去看启动日志;第二种改绑定地址,让服务监听在能被外部访问的地址上;第三种是网络层的事,改参数改到天亮也没用。

  1. 查进程确认对应工具的进程或服务状态是运行中,不是仅终端没报错。
  2. 探端口用 curl 或端口检测工具打一下监听端口,能通说明服务在;不通回到上一步。
  3. 看绑定地址远程访问失败时,检查服务监听的是本机地址还是对外地址,默认只听本机的话,换台机器输 IP 也连不上。
  4. 量延迟接口通但慢,先量一个延迟基线,把网络层的问题和推理慢分开。

显存相关的报错,按这个顺序看

报显存不够,别急着调参数。先算模型实际占多少:量化档位的影响最大,同一个模型换个档位,占用量能差出一大截。具体差多少,去部署测算页按你自己的卡型和模型规模核一遍当时的数字,别照抄别人的结论。

再查是不是被别的进程占着。这事儿麻烦在,之前没退干净的推理进程会一直占着显存不释放,新任务一启动就报不够,看着特别像新任务自己的问题。实际用下来,先把残留进程清干净,报错往往自己就没了。

最后才怀疑参数。vllm 里显存占用比例、并行卡数、上下文长度这三项,任一项设大了都会直接把服务顶死在启动阶段。改一项跑一次,别三项一起改——一起改的话,起来了也不知道是哪项救的,没起来更不知道是哪项害的。

排查顺序看什么不符合时的动作
模型占用量化档位与模型规模换档位重算,去部署测算页核对
进程占用是否有残留推理进程清理残留进程后重启
参数设置显存比例、并行卡数、上下文长度一次只改一项,逐项验证
驱动运行时版本是否匹配回退到安装步骤重新配

llama.cpp 的坑八成在量化文件本身

量化文件不完整或者版本对不上时,报错信息经常指向别处,看着像参数问题,实际是文件的问题。先核对文件名里的量化标识和模型要求是否一致,再确认下载是否完整。文件半截的典型表现是加载到某个阶段突然报个不相干的错。

还有个容易混的地方:跑多模型或者调上下文长度时,内存和显存是分开算的。显存超了直接崩,进程退出给你看;内存超了不会崩,会疯狂换页,表现是慢得离谱。这两种现象别当成同一种故障去修。

用 CPU 卸载的时候,参数填错一格,表现也是慢而不是报错。很多人把这个当故障去调显存参数,调半天没变化。先确认卸载层数填对了,再谈性能。

端口和地址这层,三个工具要对齐同一套说法

三个工具里谁是服务端、谁在监听、谁去连它,角色不一样。混着记很容易把客户端地址填成服务端地址,或者反过来。建议自己画一张小表,标清每个工具在这套链路里站哪头,出问题时对着看一眼。

远程访问失败,优先检查绑定地址。默认只听本机的工具,不会因为你在另一台机器上输入了 IP 就突然能连上——这不是网络问题,是它本来就没打算对外。同一台机器跑两个工具时,端口别撞;撞了的表现是其中一个起不来,或者请求莫名其妙打到了另一个服务上,日志里看着还挺正常,最费时间。

# 探服务是否在监听
curl -s -o /dev/null -w "%{http_code}" http://127.0.0.1:端口/health

# 看端口被谁占着
ss -ltnp | grep 端口

能跑但慢,跟跑不起来是两件事

慢和崩,排查路径完全不同,别串着修。先量再调:记下加载耗时和生成速度两个数,换一个变量重测一次,对比才有意义。凭感觉判断「好像变快了」,最后会白改一堆参数。

慢常见三类原因:模型没上卡,在跑 CPU;上下文设得过长;并发打满导致排队。这三者的现象不一样——跑 CPU 是稳定地慢,上下文长是首字延迟明显,并发排队是单请求速度还行但一多就掉。

  • 先记基线:加载耗时、首字延迟、生成速度,三个数分开记
  • 一次只动一个变量,动完重测,和基线比
  • 模型没上卡就看卸载参数和显存够不够
  • 并发场景单独压测,别和单请求速度混着看

什么时候这套顺序不管用

这套顺序覆盖的是单机、单工具、参数和配置层面的问题。有些情况它管不到,得换思路。

模型本身权重坏了,或者下载源给了个坏文件,怎么排查参数都白搭。这时候先换一个已知能跑的模型验证整条链路,链路通了再回头查那个坏文件。驱动和运行时不匹配这类底层问题,表现和参数错误很像,但改参数永远改不好,得回到安装那一步重新配。多机多卡集群的故障已经是网络和调度层的事,单机排查顺序只能覆盖到本机这一层,再往上要走集群的排查工具。

排查的本质不是把所有参数调一遍,而是用最少的动作把问题范围缩到一格。
下一步想先把各家的显存占用和部署参数拉个对照,再去动手调,站内的部署测算和工具目录能省掉不少试错。

常见问题

三个工具同时装在一台机器上会互相干扰吗?

会,主要在显存和端口两处。显存是共享的,一个没退干净另一个就起不来;端口撞了表现为其中一个服务起不来或者请求打错地方。建议一次只跑一个,或者把端口和显存上限分开设好再并行。

报显存不足,是不是只能换小模型?

不一定。先确认量化档位、上下文长度、并行卡数这几项有没有设得过满,很多时候降一项就能跑起来。具体占用怎么算,去站内部署测算页按你的卡和模型跑一遍,比凭经验估准。

llama.cpp 起服务后外部连不上,先查哪里?

先查监听地址有没有绑到对外网卡,默认只监听本机时外部当然连不上;再查端口有没有被占;最后才看防火墙。这三步的顺序别反,反了会浪费时间在改网络配置上。

vllm 启动日志没报错但请求超时,什么情况?

多半是模型还在加载或者服务还没真正就绪,日志里没有明确报错不代表能接请求。等就绪提示出来再打请求,同时确认请求地址和端口跟启动时打印的一致。

这三家的排查方法能互相套用吗?

只能套用大方向:先确认活着、再看显存、再看参数、最后看网络。具体到每条命令和每个参数名都不一样,套用细节会改错地方。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。