搜「vllm 和 ollama 怎么排查」的人,多半是服务起不来、客户端连不上、或者请求发出去了没回应。这三件事的原因完全不同,混在一起查只会来回改配置。这篇给一条从下往上走的顺序:先看进程和服务,再看地址和端口,再对模型名和显存,最后一层才动参数。每层都写清什么现象归哪一层,以及什么情况下这套顺序不适用。
搜「vllm 和 ollama 怎么排查」的人,遇到的通常是三件不同的事:服务起不来、客户端连不上、请求发出去没回应。这三件事的原因完全不在一个层面,混在一起查,最容易出现来回改配置、改完更乱的情况。
我建议按从下往上的顺序走:先看进程和服务在不在,再看地址端口通不通,然后对模型名和显存,最后才动参数。这篇把每一层的判断标准和具体动作拆开讲,也写清什么情况下这套顺序不适用。
先别动配置,确认卡在哪一层
动手之前先做一次初判,对着现象分类。进程根本没起来,和进程起来了但端口连不上,和端口通了但请求返回报错,修法差很远。分错了层,后面的排查全是白费。
| 现象 | 大概率所在层 | 先做一件事 |
|---|---|---|
| 启动命令一跑就退出 | 进程/参数层 | 看日志最后几行,别翻开头 |
| 进程在,但连不上端口 | 网络/绑定层 | 在服务器上 curl 本地端口 |
| 能连上,请求报错或没内容 | 模型/显存层 | 确认模型名和加载状态 |
| 只有某个客户端失败 | 调用方 | 换 curl 直接打一遍 |
判断的关键动作是在服务器上直接 curl 本地端口。能返回内容,说明推理框架本身是活的,问题在调用方或者中间网络;返回不了,才往下查框架。容器里跑的时候尤其要注意,容器内能通不等于宿主机能通,这一层最常见被误判成模型坏了。
进程、端口、绑定地址:一半的问题在这
vllm 起服务失败,先看日志最后几行,别从开头翻。报错大致分三种:参数解析失败、权重加载失败、显存不足。参数解析失败通常是启动命令里某个字段拼错或类型不对;权重加载失败要去看模型路径和文件是否完整;显存不足的日志会明确提到内存分配。
Ollama 这边的坑更隐蔽一些。它默认只监听本机,换一台机器访问就必须改绑定地址,改完还得重启服务才生效。很多人改完配置直接就试,没重启,看到的现象跟没改一样。
- 确认进程在不在用 ps 或 docker ps 看进程/容器状态,再确认日志里有没有正常启动的标记行。
- 本地 curl 打端口在服务器上直接对本地端口发请求,看能不能拿到响应,这一步决定问题在框架还是调用方。
- 查端口占用和防火墙确认端口没被别的进程占,防火墙和代理环境变量都放行,代理变量是最容易漏的一项。
- 跨机验证从另一台机器 ping 和 curl 一次,区分是绑定地址问题还是网络策略问题。
模型对不上、显存吃不下,报错长得像网络问题
模型名写错的时候,客户端拿到的往往是一个笼统的失败响应,看着像连不上,其实是服务端根本没找到这个模型。所以到这一层,先把客户端里填的模型名和服务端实际加载的名字对一遍,别急着怀疑网络。
显存不够的表现是起服务慢、加载中途中断或者请求超时,看起来也像网络问题。验证链路是否通的办法是先换更小的量化档位或小模型跑一遍,通了再回来调大的。vllm 对模型目录结构和权重格式比 Ollama 挑剔,路径挂载错了会在加载阶段才报错,所以挂载路径也要核对一遍。
- 模型名逐字符对照,注意大小写和标签后缀
- 确认服务端日志里出现了加载完成的记录
- 显存不够就先降档验证链路,再回到原档位
- 检查挂载路径和权重文件格式,路径错只在加载时报
这套顺序什么时候不适用
多机多卡或者多实例部署的时候,问题可能出在调度和网络层,得先看集群状态,而不是从单机进程查起。这种情况下单机日志往往是正常的,按单机顺序查会绕远路。
还有一种情况:只在特定客户端复现,换 curl 就正常。这时候应该反过来从客户端配置往上查,而不是继续在服务端折腾。已经稳定运行过一段时间突然失败,优先看资源占用和日志时间点,别从安装环节重来一遍。
下一步排查完想确认所用中转站是否稳定,可以去站内的中转站检测页跑一遍连通性,再对照价格追踪页核对当时的计费口径。→常见问题
vllm 起服务报错,和 Ollama 拉不到模型,能用同一套排查吗?
前半段一样,都要先确认进程和端口,但后半段分叉。vllm 的失败多数落在参数、权重路径和显存上,报错信息更具体,直接读日志最后几行最有效。Ollama 多数落在网络拉取和模型名上,先确认能不能拉到,再确认名字对不对。
客户端提示连接失败,但服务明明在跑,先改哪里?
先在服务所在机器上 curl 本地端口,能通就说明是地址或网络的问题。常见的是把本机地址填进了另一台机器的配置、改过绑定地址没重启、或者中间隔了容器和代理。这三项对完基本能定位,别急着改模型参数。
怎么快速判断是显存不够还是模型加载出错?
看失败发生的时点。起服务几秒内就退出,多半是参数或权重路径问题;加载到一半卡住或超时,更像显存吃不下。换个更小的量化档位跑同一个模型,能起来就是显存的事,起不来就往配置和权重上查。