搜 ollama 和 llama 怎么排查的人,多半已经装完了,卡在某个具体动作上:拉模型卡在百分比不动、run 起来没反应、接口连不上、明明开了服务却提示找不到。这些现象看着都像「模型有问题」,其实分散在完全不同的层。这篇按报错落在哪一层来分,先判断再动手,给的是排查顺序和对照点。
搜这个词的人基本已经过了安装关,卡在某个具体动作上:拉模型卡在百分比不动、run 起来没反应、接口连不上、服务明明开着却提示找不到。这些现象看着都像「模型有问题」,其实分散在完全不同的层。一上来就重装或者换模型,多半是把时间花在了没坏的地方。
这篇给的是排查顺序和对照点,不是万能答案。判断原则只有一条:先看报错落在哪一层,再动手。同一层里一次只改一处,改完立刻重试同一个动作。做不到这点,复现不了,后面全是猜。
先分清说的是 llama 还是 ollama
这一步最容易被跳过,但跳过之后整条排查线都会歪。llama 可能指模型家族,也可能指 llama.cpp 那个运行时;ollama 是一个自带服务的管理工具。你装的是哪个、报错里提的是哪个,决定你该去看模型目录还是看可执行文件。
- 报模型名找不到
- 问题在下载或命名这一层,比如标签写错、文件没落到模型目录、手动导入时名字对不上
- 报命令不存在
- 问题在可执行文件和 PATH,跟模型本身无关,先确认命令从哪个路径跑起来
- 报连接被拒
- 问题在服务层,说明前面的安装和模型可能是好的,别回头重装
账号这一层只影响云端拉取和在线接口。纯本地跑模型不涉及登录,拉取失败一律当鉴权问题处理,是常见误判。真怀疑鉴权,先看报错里有没有明确的未授权字样,没有就别往这个方向查。
拉不下来:模型没进门,后面都白搭
先区分是卡在下载中途,还是有明确的连接报错。前者多半是网络抖动或镜像源不稳,等一会儿重试或者换源;后者先确认能不能解析到仓库地址,这一步不通,换什么源都白换。
手动下载的模型文件是最容易出错的地方。现象很典型:命令跑成功了,但模型列表里就是没有。这时别怀疑模型坏了,先去核对文件放没放对目录、文件名和引用名是否一致。放错一格,表现就跟没下载一样。
- 确认走的是哪条路径:在线拉取、换源、离线导入,三条路的改法不同,别同时在两处改
- 换源之后先把原来的缓存清掉再试,混着用会拉到半截文件
- 离线导入时核对文件名和引用名,差一个字符就列不出来
- 拉取成功不等于能用,下一步还要确认服务能加载它
服务起没起、端口对不对,这一步最容易假成功
「服务已启动」这类提示经常是假成功。先用本机地址访问一次,再看监听地址和端口。很多连不上是服务只绑在本机回环上,外部访问自然打不通。客户端里填的地址要和实际监听地址一致;跑在容器里的,还要换算成宿主机可达的地址,这一步错了,前面全对也没用。
| 现象 | 先查哪里 | 常见原因 |
|---|---|---|
| 本机访问也不通 | 服务进程和端口 | 进程没起来,或者起在别的端口 |
| 本机能通、外部不通 | 监听地址 | 只绑了回环地址,没对外 |
| 容器里通、宿主机不通 | 地址换算 | 客户端填的是容器内地址 |
| 日志一堆报错 | 日志第一行 | 第一行才是根因,后面是连锁反应 |
看日志只认第一行错误。后面的报错基本是连锁反应,参考价值有限。日志位置各平台不同,在错的目录里翻半天什么也找不到,先确认当前运行的实例把日志写到了哪。
真到模型这一层,通常只剩两种情况
一种装不下。现象是加载到一半退出,或者回退到 CPU 后慢得离谱。别凭感觉判断,拿显卡规格去站内资料库对一遍显存和模型规格,算清楚了再决定降规格还是换设备。另一种是量化档位和运行时版本不匹配,现象是加载时报格式错误。先降一档跑通,再往上换,比直接啃高规格省事。
这两种情况都不适用于「模型能加载但回答质量差」的场景。质量问题是提示词和参数的事,不是排查加载链路能解决的,别混在一起。
给你一条按顺序走的排查线
- 命令能跑确认可执行文件在 PATH 里,命令有正常输出。报命令不存在就停在这,别往下走
- 模型在列表里列一次模型,确认名字和你要引用的完全一致。不在列表里就回下载或命名那层
- 服务地址可达先用本机地址访问,再换宿主机地址。两种都不通,问题在监听配置
- 再发请求前面三步都过了才发请求。到这一步还失败,基本就是模型加载或显存问题
每一步的实际输出随手记下来。凭记忆描述「它报了个错」对排查没帮助,有原文才能判断落在哪一层。这套顺序不解决所有问题,但能帮你把范围缩到一层,而不是在四层之间来回跳。
下一步排查到显存和量化档位这层,需要拿实际规格对照。站内资料库按模型和硬件整理了可查的规格,别拿记忆里的数字做判断。→常见问题
ollama 提示找不到服务,但进程明明在跑,怎么回事?
先确认客户端连的地址和端口,再看服务是不是只绑在回环地址上。进程在跑和端口对外可达是两件事,很多这种报错是地址填错了一格,不是没启动。
llama.cpp 和 ollama 报错的表现像不像,能套同一套排查吗?
思路可以套,动作不一样。llama.cpp 更依赖你自己编译和指定模型文件路径,报错往往出在文件格式和参数上;ollama 更多出在服务、端口和模型拉取上。先确认用的哪个再查。
模型拉了一半断了,重下会从头开始吗?
多数情况会接着用已下载的部分,但如果缓存目录被清过或者文件损坏,就会重来。断了之后先重试一次,还是停在同一位置再考虑换源或改用离线导入。