vllm 和 ollama怎么排查:多数不是模型问题,是这两层没对上

模型与算力

把 vllm 与 ollama 的排查拆成账号鉴权、网络端口、模型加载三层,给一套按顺序走的判断标准,避免一上来就重装或换模型。

服务起不来、请求报 401、客户端连不上、模型加载卡住,这几种现象经常被混成一个问题,结果清一色去重装。可 vllm 和 ollama 的失败点根本不在同一层:一个多半是地址和鉴权没对上,一个多半是模型没下来或者显存不够。这篇给一条从外到内的排查顺序,每一步都有能立刻验证的动作。

服务起不来、请求报 401、客户端连不上、模型加载卡半天,这几种现象乍看都像「模型坏了」,于是第一反应就是重装、换模型、升级显卡驱动。折腾一圈回来,问题往往还在。原因很简单:vllm 和 ollama 的失败点压根不在同一层,一个多半卡在地址和鉴权,一个多半是模型没下载完或者显存不够。你按错层去修,修多久都是白费。

这篇给一条从外到内的排查顺序:先判断报错落在哪一层,再看地址和密钥,然后才轮到模型和显存。每一步都有能立刻验证的动作,做完再决定要不要动配置。整套流程在服务器上跑一遍,通常比翻官方 issue 快得多。

先分清是哪一层在报错

把现象硬塞进三类里:进程起没起来、端口通不通、请求被不被接受。这三类对应完全不同的动作,混在一起查就是瞎猜。报「连接被拒」说明连进程或端口都没摸到;报 401、403 说明网络是通的,只是鉴权没过;报模型不存在、超时,才轮到模型和显存。

客户端现象大概率所在层下一步动作
连接被拒、无法访问进程或端口去服务器上看进程和监听地址
401 / 403 / 无权限鉴权与密钥核对请求头里的凭据和网关配置
模型不存在、加载失败模型标识或加载核对模型名、看服务端启动日志
请求超时、中途断开显存或长度参数翻服务端日志看是分配失败还是请求没到

确认服务在不在跑,别用浏览器打开根路径来判断。两个框架根路径的返回本来就不一样,一个可能直接给你报错页,一个可能返回一段说明文字,拿这个当「挂了」的证据很容易误判。ollama 看 serve 进程和本地端口有没有在监听;vllm 看启动日志里那行监听地址打出来没有,打出来了才算真起来了。

地址和密钥:填错一格就全盘皆输

这一段是最容易出假故障的地方。vllm 启动时如果开了密钥校验,请求头里必须带 Bearer,客户端只填个模型名不填密钥,返回的报错经常长得像「模型不存在」,你就顺着模型去查,越查越远。先把密钥这一格填对再谈别的。

  • ollama 本身没有密钥概念,你看到要填 api key 的地方,多半是外面套了一层网关或代理,别在 ollama 身上找开关
  • 地址要对齐三处:http 还是 https、有没有多写一层版本前缀、端口是默认还是改过,任意一处不同都连不上
  • 客户端跑在容器里时,localhost 指向容器自己,宿主机上的服务要用宿主地址或容器网络名
  • 反向代理转发时留意有没有把请求头里的鉴权字段丢掉,丢了之后后端看到的就是裸请求

连上了但出不来结果,看模型和显存

网络通了、鉴权过了,请求还是出不来结果,这时候才该看模型和显存。模型名对不上是最省事的错误:vllm 要填的模型标识得和启动时加载的那个一致,ollama 要的是完整标签,少一段就直接报找不到。这种错改一个字符串就好,别急着怀疑显存。

显存不够的表现和网络错很像,都是超时或者中途断开,光看客户端根本分不出来。去翻服务端日志,能看到实际是分配失败,而不是请求没到。ollama 首次拉取模型会下载很久,客户端一直等不到响应不一定是服务坏了,先看服务端是不是还在下载。vllm 的启动参数设得太大,服务起来后也会立刻因为长度不够拒绝请求,这类错误对照启动日志改参数就行。

照着这个顺序查,别跳步

  1. 服务器本地打一发在服务所在机器上发一条最简请求,绕开客户端、代理和鉴权网关,先确认服务自己是好的。本地就失败,后面两步不用做了
  2. 换一台机器再打从另一台机器发同样的请求,用这一步把服务问题和网络问题分开。本地通、远程不通,去查端口、防火墙和代理
  3. 还原应用里的真实调用把密钥、超时、路径都按应用里的配置还原,看问题在哪一步重新冒出来。冒出来了,说明差异就在你刚补上的那一项
  4. 每次只改一个变量改完立刻回测,确认是这一处修好的再动下一处。同时改两处,最后你根本不知道是哪一处起了作用
排查这事儿,顺序比经验重要。先证明服务是活的,再证明路是通的,最后才怀疑模型。
下一步排查到中转站那一层拿不准时,去站内的可信度检测和对各家官方价格的整理里对一下当时的数字,比自己反复试错省事。

常见问题

vllm 返回 401 但 ollama 同一个客户端能通,是什么原因?

说明客户端代码本身没问题,差别在鉴权。vllm 起服务时如果指定了密钥,请求必须带上对应的请求头;ollama 默认不校验密钥,所以同一个客户端在那边能过。把密钥补进客户端配置,或者确认启动时到底有没有开校验,再对一遍请求头格式。

ollama 本地能用,别的机器连不上,怎么办?

先确认服务监听的是本机地址还是所有网卡地址,只绑本机的话外部怎么连都连不上。再看防火墙和端口是否放行。这两步之外,还要注意有些客户端会把 localhost 拼进地址里,远程调用时要显式换成对方机器的地址。

模型加载很慢,是不是该换框架?

先看服务端在做什么。如果是首次下载权重,慢是正常的,和框架无关;如果是每次请求都重新加载,问题在驻留配置而不是框架选择。只有确认模型常驻、显存足够,速度仍然明显不对,才值得去比较框架差异。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。