vllm 和 ollama 怎么排查:先分清是装错了还是连不上

模型与算力

按层拆开 vllm 与 Ollama 的排查顺序:先确认进程和服务在不在,再看地址端口能不能通,最后才怀疑模型和显存。

搜「vllm 和 ollama 怎么排查」的人,多半是服务起不来、客户端连不上、或者请求发出去了没回应。这三件事的原因完全不同,混在一起查只会来回改配置。这篇给一条从下往上走的顺序:先看进程和服务,再看地址和端口,再对模型名和显存,最后一层才动参数。每层都写清什么现象归哪一层,以及什么情况下这套顺序不适用。

搜「vllm 和 ollama 怎么排查」的人,遇到的通常是三件不同的事:服务起不来、客户端连不上、请求发出去没回应。这三件事的原因完全不在一个层面,混在一起查,最容易出现来回改配置、改完更乱的情况。

我建议按从下往上的顺序走:先看进程和服务在不在,再看地址端口通不通,然后对模型名和显存,最后才动参数。这篇把每一层的判断标准和具体动作拆开讲,也写清什么情况下这套顺序不适用。

先别动配置,确认卡在哪一层

动手之前先做一次初判,对着现象分类。进程根本没起来,和进程起来了但端口连不上,和端口通了但请求返回报错,修法差很远。分错了层,后面的排查全是白费。

现象大概率所在层先做一件事
启动命令一跑就退出进程/参数层看日志最后几行,别翻开头
进程在,但连不上端口网络/绑定层在服务器上 curl 本地端口
能连上,请求报错或没内容模型/显存层确认模型名和加载状态
只有某个客户端失败调用方换 curl 直接打一遍

判断的关键动作是在服务器上直接 curl 本地端口。能返回内容,说明推理框架本身是活的,问题在调用方或者中间网络;返回不了,才往下查框架。容器里跑的时候尤其要注意,容器内能通不等于宿主机能通,这一层最常见被误判成模型坏了。

进程、端口、绑定地址:一半的问题在这

vllm 起服务失败,先看日志最后几行,别从开头翻。报错大致分三种:参数解析失败、权重加载失败、显存不足。参数解析失败通常是启动命令里某个字段拼错或类型不对;权重加载失败要去看模型路径和文件是否完整;显存不足的日志会明确提到内存分配。

Ollama 这边的坑更隐蔽一些。它默认只监听本机,换一台机器访问就必须改绑定地址,改完还得重启服务才生效。很多人改完配置直接就试,没重启,看到的现象跟没改一样。

  1. 确认进程在不在用 ps 或 docker ps 看进程/容器状态,再确认日志里有没有正常启动的标记行。
  2. 本地 curl 打端口在服务器上直接对本地端口发请求,看能不能拿到响应,这一步决定问题在框架还是调用方。
  3. 查端口占用和防火墙确认端口没被别的进程占,防火墙和代理环境变量都放行,代理变量是最容易漏的一项。
  4. 跨机验证从另一台机器 ping 和 curl 一次,区分是绑定地址问题还是网络策略问题。

模型对不上、显存吃不下,报错长得像网络问题

模型名写错的时候,客户端拿到的往往是一个笼统的失败响应,看着像连不上,其实是服务端根本没找到这个模型。所以到这一层,先把客户端里填的模型名和服务端实际加载的名字对一遍,别急着怀疑网络。

显存不够的表现是起服务慢、加载中途中断或者请求超时,看起来也像网络问题。验证链路是否通的办法是先换更小的量化档位或小模型跑一遍,通了再回来调大的。vllm 对模型目录结构和权重格式比 Ollama 挑剔,路径挂载错了会在加载阶段才报错,所以挂载路径也要核对一遍。

  • 模型名逐字符对照,注意大小写和标签后缀
  • 确认服务端日志里出现了加载完成的记录
  • 显存不够就先降档验证链路,再回到原档位
  • 检查挂载路径和权重文件格式,路径错只在加载时报

这套顺序什么时候不适用

多机多卡或者多实例部署的时候,问题可能出在调度和网络层,得先看集群状态,而不是从单机进程查起。这种情况下单机日志往往是正常的,按单机顺序查会绕远路。

还有一种情况:只在特定客户端复现,换 curl 就正常。这时候应该反过来从客户端配置往上查,而不是继续在服务端折腾。已经稳定运行过一段时间突然失败,优先看资源占用和日志时间点,别从安装环节重来一遍。

下一步排查完想确认所用中转站是否稳定,可以去站内的中转站检测页跑一遍连通性,再对照价格追踪页核对当时的计费口径。

常见问题

vllm 起服务报错,和 Ollama 拉不到模型,能用同一套排查吗?

前半段一样,都要先确认进程和端口,但后半段分叉。vllm 的失败多数落在参数、权重路径和显存上,报错信息更具体,直接读日志最后几行最有效。Ollama 多数落在网络拉取和模型名上,先确认能不能拉到,再确认名字对不对。

客户端提示连接失败,但服务明明在跑,先改哪里?

先在服务所在机器上 curl 本地端口,能通就说明是地址或网络的问题。常见的是把本机地址填进了另一台机器的配置、改过绑定地址没重启、或者中间隔了容器和代理。这三项对完基本能定位,别急着改模型参数。

怎么快速判断是显存不够还是模型加载出错?

看失败发生的时点。起服务几秒内就退出,多半是参数或权重路径问题;加载到一半卡住或超时,更像显存吃不下。换个更小的量化档位跑同一个模型,能起来就是显存的事,起不来就往配置和权重上查。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。