ollama 和 llama 怎么排查:报错先落在哪一层,这三处最常见

模型与算力

把 ollama 和 llama 的排查拆成账号、网络、运行时三层,给出按现象定位的动作顺序,帮你别一上来就重装或换模型。

搜 ollama 和 llama 怎么排查的人,多半已经装完了,卡在某个具体动作上:拉模型卡在百分比不动、run 起来没反应、接口连不上、明明开了服务却提示找不到。这些现象看着都像「模型有问题」,其实分散在完全不同的层。这篇按报错落在哪一层来分,先判断再动手,给的是排查顺序和对照点。

搜这个词的人基本已经过了安装关,卡在某个具体动作上:拉模型卡在百分比不动、run 起来没反应、接口连不上、服务明明开着却提示找不到。这些现象看着都像「模型有问题」,其实分散在完全不同的层。一上来就重装或者换模型,多半是把时间花在了没坏的地方。

这篇给的是排查顺序和对照点,不是万能答案。判断原则只有一条:先看报错落在哪一层,再动手。同一层里一次只改一处,改完立刻重试同一个动作。做不到这点,复现不了,后面全是猜。

先分清说的是 llama 还是 ollama

这一步最容易被跳过,但跳过之后整条排查线都会歪。llama 可能指模型家族,也可能指 llama.cpp 那个运行时;ollama 是一个自带服务的管理工具。你装的是哪个、报错里提的是哪个,决定你该去看模型目录还是看可执行文件。

报模型名找不到
问题在下载或命名这一层,比如标签写错、文件没落到模型目录、手动导入时名字对不上
报命令不存在
问题在可执行文件和 PATH,跟模型本身无关,先确认命令从哪个路径跑起来
报连接被拒
问题在服务层,说明前面的安装和模型可能是好的,别回头重装

账号这一层只影响云端拉取和在线接口。纯本地跑模型不涉及登录,拉取失败一律当鉴权问题处理,是常见误判。真怀疑鉴权,先看报错里有没有明确的未授权字样,没有就别往这个方向查。

拉不下来:模型没进门,后面都白搭

先区分是卡在下载中途,还是有明确的连接报错。前者多半是网络抖动或镜像源不稳,等一会儿重试或者换源;后者先确认能不能解析到仓库地址,这一步不通,换什么源都白换。

手动下载的模型文件是最容易出错的地方。现象很典型:命令跑成功了,但模型列表里就是没有。这时别怀疑模型坏了,先去核对文件放没放对目录、文件名和引用名是否一致。放错一格,表现就跟没下载一样。

  • 确认走的是哪条路径:在线拉取、换源、离线导入,三条路的改法不同,别同时在两处改
  • 换源之后先把原来的缓存清掉再试,混着用会拉到半截文件
  • 离线导入时核对文件名和引用名,差一个字符就列不出来
  • 拉取成功不等于能用,下一步还要确认服务能加载它

服务起没起、端口对不对,这一步最容易假成功

「服务已启动」这类提示经常是假成功。先用本机地址访问一次,再看监听地址和端口。很多连不上是服务只绑在本机回环上,外部访问自然打不通。客户端里填的地址要和实际监听地址一致;跑在容器里的,还要换算成宿主机可达的地址,这一步错了,前面全对也没用。

现象先查哪里常见原因
本机访问也不通服务进程和端口进程没起来,或者起在别的端口
本机能通、外部不通监听地址只绑了回环地址,没对外
容器里通、宿主机不通地址换算客户端填的是容器内地址
日志一堆报错日志第一行第一行才是根因,后面是连锁反应

看日志只认第一行错误。后面的报错基本是连锁反应,参考价值有限。日志位置各平台不同,在错的目录里翻半天什么也找不到,先确认当前运行的实例把日志写到了哪。

真到模型这一层,通常只剩两种情况

一种装不下。现象是加载到一半退出,或者回退到 CPU 后慢得离谱。别凭感觉判断,拿显卡规格去站内资料库对一遍显存和模型规格,算清楚了再决定降规格还是换设备。另一种是量化档位和运行时版本不匹配,现象是加载时报格式错误。先降一档跑通,再往上换,比直接啃高规格省事。

这两种情况都不适用于「模型能加载但回答质量差」的场景。质量问题是提示词和参数的事,不是排查加载链路能解决的,别混在一起。

给你一条按顺序走的排查线

  1. 命令能跑确认可执行文件在 PATH 里,命令有正常输出。报命令不存在就停在这,别往下走
  2. 模型在列表里列一次模型,确认名字和你要引用的完全一致。不在列表里就回下载或命名那层
  3. 服务地址可达先用本机地址访问,再换宿主机地址。两种都不通,问题在监听配置
  4. 再发请求前面三步都过了才发请求。到这一步还失败,基本就是模型加载或显存问题

每一步的实际输出随手记下来。凭记忆描述「它报了个错」对排查没帮助,有原文才能判断落在哪一层。这套顺序不解决所有问题,但能帮你把范围缩到一层,而不是在四层之间来回跳。

下一步排查到显存和量化档位这层,需要拿实际规格对照。站内资料库按模型和硬件整理了可查的规格,别拿记忆里的数字做判断。

常见问题

ollama 提示找不到服务,但进程明明在跑,怎么回事?

先确认客户端连的地址和端口,再看服务是不是只绑在回环地址上。进程在跑和端口对外可达是两件事,很多这种报错是地址填错了一格,不是没启动。

llama.cpp 和 ollama 报错的表现像不像,能套同一套排查吗?

思路可以套,动作不一样。llama.cpp 更依赖你自己编译和指定模型文件路径,报错往往出在文件格式和参数上;ollama 更多出在服务、端口和模型拉取上。先确认用的哪个再查。

模型拉了一半断了,重下会从头开始吗?

多数情况会接着用已下载的部分,但如果缓存目录被清过或者文件损坏,就会重来。断了之后先重试一次,还是停在同一位置再考虑换源或改用离线导入。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。