Ollama 拉下来一个模型,run 起来要么卡住、要么报错、要么跑起来慢得离谱;换 llama.cpp 直接跑 GGUF 也一样,命令敲完就报一堆看不懂的行。多数人第一反应是重装、换模型、重启机器,来回折腾一晚上没找到点。这篇不讨论两者有什么区别,只讲出问题时怎么按层定位、每层该看什么、什么情况下这个排查思路不适用。
Ollama 拉下来一个模型,run 起来要么卡住、要么报错、要么慢得离谱;换 llama.cpp 直接跑 GGUF,命令敲完就吐一堆看不懂的行。多数人第一反应是重装、换模型、重启机器,折腾一晚上还是没找到点。这里不聊两者有什么区别,只讲出问题时怎么按层往下定位。
有个前提先说清楚:模型本身很少是那个坏东西。真正出问题的往往是中间某一段,你只是从最终那句报错里看不出来。所以排查的功夫不在「试更多模型」,在「先把问题按层切开」。
先别动手,把问题归到哪一层
把整条链路拆成四层看:模型文件本身、加载器读不读得懂、显存和内存放不放得下、服务接口连不连得上。四层的症状长得完全不一样,认清症状比认命令重要得多。
| 层 | 典型症状 | 第一眼看哪里 |
|---|---|---|
| 模型文件 | 拉不下来、校验失败、加载时报一段难懂的话 | 文件名和 tag 是否正确,文件是不是下完整了 |
| 加载器 | startup 阶段直接退出 | 日志里模型格式、对话模板、上下文长度相关的那几行 |
| 显存/内存 | 加载成功但极慢,或跑到一半进程消失 | 系统日志和显存占用,不是应用输出 |
| 服务接口 | 命令行能用,客户端连不上或返回怪东西 | 进程在不在、监听地址、端口 |
有个一句话的初筛办法:换回最原始的方式跑一次。Ollama 就 ollama run,llama.cpp 就 llama-cli 直接加载。还复现,问题在前两层;不复现,往后两层找。这一步能省掉大半无效重装。
模型文件这层,最容易背锅也最容易查
Ollama 的模型名带 tag,不带 tag 时到底取了哪个版本,别凭印象敲。各家模型的档位和命名到 /models 这类目录核对当时的写法,敲错一个字符的报错和「文件坏了」长得差不多,很容易误判。
GGUF 用 llama.cpp 跑,先确认量化档位对得上、文件是不是完整下完。有些人下到一半就把临时文件改成正式名,加载时报错那句话几乎看不出和文件名有关。查不清就直接删了重拉,比在报错里猜快。
- 模型名和 tag 逐字对一遍,别靠记忆
- 确认文件大小和页面标的一致,明显偏小就是没下完
- 看这个模型支持的上下文长度,你要的值不能超
- 对话模板对不对——不对时表现是答非所问,不是报错,最容易被扣成「模型不行」
最后一条值得多说一句。答非所问、胡言乱语、答到一半断了,这些「像模型不行」的表现,先回头查模板和上下文,别急着换模型。
加载和显存:卡在这一层的症状最好认
看日志里有多少层卸载到了 CPU。Ollama 用 num_gpu 控制,llama.cpp 看 -ngl 参数。层数给得太小,大部分计算落在 CPU 上,速度会难看到像坏了,实际只是没吃上显卡。
llama-cli -m model.gguf -ngl 99 -c 4096 -p "hello" # 层数拉满先试,上下文中等,看输出速度和日志里的 offload 行显存不够时的典型表现不是一句干脆的报错,而是加载成功、第一次回答等很久,或者进程悄悄消失。这时候去看系统日志,应用那边通常什么都没留下。量化档位选得太高、上下文开得太大,都会把显存放大,先把上下文调下来试,比换卡便宜。
- 判断这层过了的标准
- 显存占用接近上限但还有剩余,同时输出速度稳定
- 反过来的信号
- 显存还剩很多,速度照样慢——那就不是这层,往加载层回头看
- 进程消失
- 先查系统日志里的 OOM 记录,别在应用输出里找
服务能起但客户端连不上,别再改模型参数
到这一层,模型和显存都已经是无辜的了。先分清三件事:进程压根没起、起了但只听 127.0.0.1、还是端口被别的程序占了。这三种的处理方式完全不同,混在一起猜会绕很久。
容器里访问宿主机服务是高频误判点。地址填 localhost,在容器里指向的是容器自己,服务明明起着却连不上。用命令行直接请求一次接口,把问题缩到「服务端到底返回了什么」,比看客户端那句转述过的报错靠谱。
- 确认进程看服务进程在不在,不在就翻启动日志的第一段错误
- 确认监听地址不是只在本机监听,就说明外部客户端连不上是正常的
- 命令行直连用 curl 或等价命令打一次接口,拿到原始返回
- 比对客户端命令行正常、客户端报错,问题就在客户端配置,收手
这套顺序什么时候不好使
一张卡被多个应用共用、并发请求打满的时候,单次排查会被别的进程干扰,你看到的慢和报错可能压根不是这个模型造成的。先隔离开再排,不然结论全不可靠。
还有一种:模型本身用了当前版本还不支持的新结构。这种情况下逐层排查会一直把你引向最后一层,因为前三层看着都正常。先去确认这个模型的格式和结构在你的版本支持范围内,再谈后面的排查。
如果只在某个客户端出问题、命令行完全正常,那就别往底层挖了,问题就在客户端配置。排查的价值在于知道什么时候停手,不是把所有层都走一遍。速度类的横向对照可以去 /tools/speed-test 看当时的数字,别拿感觉当结论。
下一步把你常跑的模型和上下文需求对一遍,看当前配置是不是把显存和速度都吃掉了;站内的模型资料和目录页有各家的参数说明与价格对照,按当时的数字核对,比凭印象调参稳。→常见问题
ollama run 能跑但客户端调不通,是不是模型装错了?
大概率不是。命令行能跑说明模型文件和加载都没问题,问题在服务监听地址、端口和鉴权这几格。先用命令行直接请求接口确认服务本身正常,再回头改客户端填的地址,别去动模型参数。
llama.cpp 报错信息看不懂,能从哪一步开始?
先确认 GGUF 文件完整、量化档位和当前版本支持,再单独用最简参数加载,不加任何调优参数。能加载起来再逐个把上下文、层数、线程加回去,报错出现的那一次就是你改动的那一项。
跑起来很慢但显存没满,该往哪查?
先看卸载到 CPU 的层数比例,再看上下文设置是否过大导致反复重算。显存剩余多但速度慢,通常不是资源不够,而是参数没让计算留在卡上,调层数比换硬件划算。