llama.cpp和ollama怎么排查:出问题的那一层从来不在模型上

模型与算力

把 llama.cpp 和 ollama 的故障按层拆开:先分清是模型文件、加载、显存还是接口,再照着动作一条条排,不用来回重装。

Ollama 拉下来一个模型,run 起来要么卡住、要么报错、要么跑起来慢得离谱;换 llama.cpp 直接跑 GGUF 也一样,命令敲完就报一堆看不懂的行。多数人第一反应是重装、换模型、重启机器,来回折腾一晚上没找到点。这篇不讨论两者有什么区别,只讲出问题时怎么按层定位、每层该看什么、什么情况下这个排查思路不适用。

Ollama 拉下来一个模型,run 起来要么卡住、要么报错、要么慢得离谱;换 llama.cpp 直接跑 GGUF,命令敲完就吐一堆看不懂的行。多数人第一反应是重装、换模型、重启机器,折腾一晚上还是没找到点。这里不聊两者有什么区别,只讲出问题时怎么按层往下定位。

有个前提先说清楚:模型本身很少是那个坏东西。真正出问题的往往是中间某一段,你只是从最终那句报错里看不出来。所以排查的功夫不在「试更多模型」,在「先把问题按层切开」。

先别动手,把问题归到哪一层

把整条链路拆成四层看:模型文件本身、加载器读不读得懂、显存和内存放不放得下、服务接口连不连得上。四层的症状长得完全不一样,认清症状比认命令重要得多。

层典型症状第一眼看哪里
模型文件拉不下来、校验失败、加载时报一段难懂的话文件名和 tag 是否正确,文件是不是下完整了
加载器startup 阶段直接退出日志里模型格式、对话模板、上下文长度相关的那几行
显存/内存加载成功但极慢,或跑到一半进程消失系统日志和显存占用,不是应用输出
服务接口命令行能用,客户端连不上或返回怪东西进程在不在、监听地址、端口

有个一句话的初筛办法:换回最原始的方式跑一次。Ollama 就 ollama run,llama.cpp 就 llama-cli 直接加载。还复现,问题在前两层;不复现,往后两层找。这一步能省掉大半无效重装。

模型文件这层,最容易背锅也最容易查

Ollama 的模型名带 tag,不带 tag 时到底取了哪个版本,别凭印象敲。各家模型的档位和命名到 /models 这类目录核对当时的写法,敲错一个字符的报错和「文件坏了」长得差不多,很容易误判。

GGUF 用 llama.cpp 跑,先确认量化档位对得上、文件是不是完整下完。有些人下到一半就把临时文件改成正式名,加载时报错那句话几乎看不出和文件名有关。查不清就直接删了重拉,比在报错里猜快。

  • 模型名和 tag 逐字对一遍,别靠记忆
  • 确认文件大小和页面标的一致,明显偏小就是没下完
  • 看这个模型支持的上下文长度,你要的值不能超
  • 对话模板对不对——不对时表现是答非所问,不是报错,最容易被扣成「模型不行」

最后一条值得多说一句。答非所问、胡言乱语、答到一半断了,这些「像模型不行」的表现,先回头查模板和上下文,别急着换模型。

加载和显存:卡在这一层的症状最好认

看日志里有多少层卸载到了 CPU。Ollama 用 num_gpu 控制,llama.cpp 看 -ngl 参数。层数给得太小,大部分计算落在 CPU 上,速度会难看到像坏了,实际只是没吃上显卡。

llama-cli -m model.gguf -ngl 99 -c 4096 -p "hello" # 层数拉满先试,上下文中等,看输出速度和日志里的 offload 行

显存不够时的典型表现不是一句干脆的报错,而是加载成功、第一次回答等很久,或者进程悄悄消失。这时候去看系统日志,应用那边通常什么都没留下。量化档位选得太高、上下文开得太大,都会把显存放大,先把上下文调下来试,比换卡便宜。

判断这层过了的标准
显存占用接近上限但还有剩余,同时输出速度稳定
反过来的信号
显存还剩很多,速度照样慢——那就不是这层,往加载层回头看
进程消失
先查系统日志里的 OOM 记录,别在应用输出里找

服务能起但客户端连不上,别再改模型参数

到这一层,模型和显存都已经是无辜的了。先分清三件事:进程压根没起、起了但只听 127.0.0.1、还是端口被别的程序占了。这三种的处理方式完全不同,混在一起猜会绕很久。

容器里访问宿主机服务是高频误判点。地址填 localhost,在容器里指向的是容器自己,服务明明起着却连不上。用命令行直接请求一次接口,把问题缩到「服务端到底返回了什么」,比看客户端那句转述过的报错靠谱。

  1. 确认进程看服务进程在不在,不在就翻启动日志的第一段错误
  2. 确认监听地址不是只在本机监听,就说明外部客户端连不上是正常的
  3. 命令行直连用 curl 或等价命令打一次接口,拿到原始返回
  4. 比对客户端命令行正常、客户端报错,问题就在客户端配置,收手

这套顺序什么时候不好使

一张卡被多个应用共用、并发请求打满的时候,单次排查会被别的进程干扰,你看到的慢和报错可能压根不是这个模型造成的。先隔离开再排,不然结论全不可靠。

还有一种:模型本身用了当前版本还不支持的新结构。这种情况下逐层排查会一直把你引向最后一层,因为前三层看着都正常。先去确认这个模型的格式和结构在你的版本支持范围内,再谈后面的排查。

如果只在某个客户端出问题、命令行完全正常,那就别往底层挖了,问题就在客户端配置。排查的价值在于知道什么时候停手,不是把所有层都走一遍。速度类的横向对照可以去 /tools/speed-test 看当时的数字,别拿感觉当结论。

下一步把你常跑的模型和上下文需求对一遍,看当前配置是不是把显存和速度都吃掉了;站内的模型资料和目录页有各家的参数说明与价格对照,按当时的数字核对,比凭印象调参稳。

常见问题

ollama run 能跑但客户端调不通,是不是模型装错了?

大概率不是。命令行能跑说明模型文件和加载都没问题,问题在服务监听地址、端口和鉴权这几格。先用命令行直接请求接口确认服务本身正常,再回头改客户端填的地址,别去动模型参数。

llama.cpp 报错信息看不懂,能从哪一步开始?

先确认 GGUF 文件完整、量化档位和当前版本支持,再单独用最简参数加载,不加任何调优参数。能加载起来再逐个把上下文、层数、线程加回去,报错出现的那一次就是你改动的那一项。

跑起来很慢但显存没满,该往哪查?

先看卸载到 CPU 的层数比例,再看上下文设置是否过大导致反复重算。显存剩余多但速度慢,通常不是资源不够,而是参数没让计算留在卡上,调层数比换硬件划算。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。