搜「ai-本地大模型部署工具怎么排查」的人,多半刚装完 Ollama 或 LM Studio,模型跑不起来、客户端连不上、或者跑起来慢得离谱。这时候最容易干的事是删了重装,装第二遍还是同样的问题。这篇不讲工具怎么选,只讲顺序:先分清楚是显存不够、服务没起、地址填错,还是请求本身超了上下文,几步之内把范围缩小到一层,再决定修哪里。
刚装完 Ollama 或 LM Studio,模型要么起不来,要么客户端连不上,要么跑起来慢得让人想砸键盘。这时候九成人干的第一件事是卸载重装,装第二遍还是同一个报错。问题往往不在工具,而在你还没搞清楚它卡在哪一步。
这篇不聊工具怎么选,只讲排查顺序。把整条链路拆成四段往下看,能快速把范围缩到某一层,再决定修哪里。顺序反了,就容易在客户端瞎调参数,而真正的问题其实躺在服务日志里。
先分层,别一上来就重装
一条本地推理链路能拆成四段:硬件与显存、推理服务进程、客户端与网络地址、单次请求参数。报错出现在哪一段,就该去翻哪一段的日志。这个判断不难,难的是别跳步——下层没通就调上层参数,纯属给自己制造新变量。
- 硬件与显存
- 模型能不能装进显卡,加载时有没有回落到 CPU
- 推理服务进程
- 服务起没起来,监听在哪个地址和端口
- 客户端与网络
- 接口地址、端口、鉴权字段填得对不对
- 单次请求
- 上下文长度、输入体积、附件有没有超限
典型误判是客户端弹一个「连接失败」,就跑去重下模型。连接失败说明请求压根没到服务,跟模型文件没关系。要验证,就从最底下往上,每层留一个最小动作。
显存这层:卡在哪一格能看出来
加载模型时盯着日志看有没有显存不足的提示,或者有没有悄悄回落到 CPU。回落之后通常还能跑,但慢得离谱,这个现象特别容易被当成工具性能差。别凭感觉判断显存够不够,把模型文件大小和量化档位记下来,再对照卡的实际显存算一遍,具体数字到 /models/deploy 用自己的卡和模型过一遍。
- 多卡或核显机器先确认用的是哪张卡,选错卡的表现和显存不足几乎一样
- 模型能秒回短句、一碰长文就崩,多半不是显存问题,是上下文配置
- 加载阶段就报错退出,问题在这层或模型文件本身,客户端怎么调都没用
- 同一台机器换个小模型能正常跑,基本能确认是规格不匹配,不是环境坏了
服务这层:进程、端口、监听地址
先确认服务真的在跑,再看它监听的是本机回环地址还是对外地址。只监听回环的时候,同一局域网里的其他机器必然连不上,这跟防火墙没关系,是服务根本没对外开口。启动报错或静默退出,常见原因是端口被别的程序占了,去看服务日志,别只看客户端那句连接失败。
- 确认进程在不在用系统自带的进程查看方式找一下服务进程,没有就是没起来,先解决启动问题
- 查端口占用用系统命令查目标端口被谁占着,冲突就换端口或停掉占用方,改完重启服务
- 看监听地址确认监听的是回环还是对外地址,需要别的机器访问就改成对外监听,再验证一次
- 绕开图形界面直调用命令行直接打一次接口,能通说明服务和网络没问题,问题在客户端
服务日志里如果出现模型加载失败,别再在客户端调参数了,问题回到上一层或者模型文件本身。这一步的判断标准很简单:日志报的是加载,就往硬件层查;日志根本没动静,就往网络和客户端查。
客户端和请求这层:地址与参数最常错
接口地址填错是最常见的,错法也很固定:少了路径段,或者端口号填成了别的服务的。它就填在客户端「API 地址」那一格里,改对立刻就好,跟重装没半点关系。鉴权字段也有讲究,不校验的本地服务上硬填一个 key,反而可能被拒,按工具文档留空或者按需填。
| 现象 | 大概率原因 | 先做哪一步 |
|---|---|---|
| 客户端连接失败 | 服务没起或端口不对 | 命令行直调接口验证 |
| 能连上但一直转圈 | 模型还在加载或已回落 CPU | 看服务日志和加载耗时 |
| 短句正常长文报错 | 上下文超限 | 把输入截短再试一次 |
| 改完一处又多一个新错 | 改动叠加没回退 | 回退到上一个能跑的状态 |
上下文超限的报错长得像模型崩了,其实是输入太长。把输入截短再发一次,能过就说明是长度问题,跟工具无关。排查口诀就一句:先让最短的一条请求跑通,再逐步加长度、加文件、加知识库,每加一样确认一次。
什么时候该停手,别再折腾工具
排查最怕的不是修不好,是修着修着忘了自己改过什么。同一层按日志修了两次还是复现,就换个思路:拿一个最小的客户端去验证服务,而不是换工具重装。反复重装超过一轮还没拿到新信息,说明你缺的是日志,不是安装包。
- 每次改动记下来改了什么、报错有没有变,没变就回退,别叠加
- 确认是硬件规格和目标模型对不上,再怎么调工具也没用,回选型阶段重新算
- 重装前先问自己:这次重装能拿到什么新信息,答不上来就别装
- 拿不准规格够不够,到 /compute/sizing 按自己的卡和模型重新估一遍
能跑通的最短请求,比任何参数调优都值钱。下一步想直接按自己的显卡和模型看规格够不够、价格和延迟大概什么水平,去站内的模型资料库和中转站导航页对着查,比在本地反复试错快得多。→
常见问题
模型能下载但一加载就退出,是工具装错了吗?
先别怀疑安装包。看服务日志里退出前最后几行,通常写着显存不足或模型文件校验失败。前者去算显存和量化档位,后者重新拉一次模型文件。安装本身有问题的话,连启动命令都跑不到加载模型这一步。
客户端显示连不上,但命令行调接口是通的,问题在哪?
基本可以锁定在客户端配置:地址少了路径段、端口写成别的服务、或者勾了需要鉴权的选项。把命令行里能通的那个完整地址原样贴进客户端对应格子里,其他选项先清空再试。
跑起来但输出特别慢,需要换部署工具吗?
先分清是加载慢还是逐字输出慢。加载慢多半是模型放在了机械盘或每次请求都重新加载;逐字输出慢通常是显存不够回落到 CPU,或者上下文设得过大。这两种换工具都没用,得改配置或换量化档位。