本地跑模型最烦的不是报错,是它不报错但不出活:ollama run 卡住、llama.cpp 加载完就退出、接口通了但回复是空的。很多人在这时候开始乱改参数,改到最后连原来能跑的那份配置都找不回来。这篇不给你一堆命令,先教你把问题按层切开,再决定动哪一格,同时说清哪些情况下这套顺序不适用。
本地跑模型最烦的不是报错,是它不报错但不出活。ollama run 卡在那儿转圈,llama.cpp 加载完一行日志就退出,接口能通但回复是空的——这三种情况看着像同一类问题,实际根子完全不同。很多人这时候开始乱改参数,改到最后连原来能跑的那份配置都找不回来了。
这篇不给你一堆命令。先把问题按层切开,判断清楚错在哪一层,再决定动哪一格。顺序搞反了,改十次也白改。
先别改参数,先判断错在哪一层
把一次本地运行拆成四层来看:进程起没起、模型有没有被正确读进来、推理跑不跑得动、对外接口通不通。每层有各自的观察点,混着看只会越改越乱。能连上但没输出,问题基本在推理层;连都连不上,问题在进程和端口层。这条判断先做,能省掉一大半无效折腾。
ollama 是封装好的一层,出问题先看服务状态和日志,它替你做了很多事,出错点也更集中在服务侧;llama.cpp 是直接面对模型文件,出问题多半在文件格式和参数这两处。两者的排查入口根本不是同一个地方,别拿 ollama 的经验去套 llama.cpp。
| 现象 | 先怀疑哪层 | 第一个动作 |
|---|---|---|
| 命令执行后立刻退出,没日志 | 进程/加载层 | 看完整 stderr,别只看最后一行 |
| 进程在,但对话一直转圈 | 推理层 | 换最小上下文长度单独跑一次 |
| 本地 curl 通,局域网不通 | 接口层 | 查绑定地址和端口监听范围 |
| 回复是空的但状态正常 | 推理层 | 看输出是否被模板或参数截断 |
ollama 这边按这个顺序查
先确认服务在跑、端口能访问,再确认模型是真的下载完整。拉一半中断的文件在列表里能看到,但会在加载阶段才炸,这个坑很常见。模型列表能看到但 run 不动,就去日志里找加载阶段的报错,显存不足和格式不支持是两种完全不同的原因,前者要减负载,后者要换文件。
- 看服务状态确认进程活着、端口在听;直接访问本地接口看有没有响应,别只凭终端里没报错就下结论。
- 核对模型完整性列表里有不代表文件完整。重新拉一次同样的模型,看它是秒过还是重新下载,重新下载说明之前那份是残的。
- 抓加载阶段日志run 之前先开日志输出,卡住时看最后停在哪个阶段,是读文件、分配显存还是建上下文。
- 区分本地与对外本地能通、局域网不通,先查绑定地址和跨域设置,别急着怀疑模型本身有问题。
还有一个容易误判的点:ollama 的默认配置对显存比较保守,机器明明够用却跑得慢,不一定是模型问题,可能是没吃满。这个不适用的情况是——当你已经确认显存充足、日志里也没分配失败,那再去调参数才有意义。
llama.cpp 这边错得更直接,也更难看懂
llama.cpp 直接吃模型文件,文件是旧的量化格式或者转换不完整,启动就会在加载阶段退出,报错里往往只提到某个张量名字,看着像天书。这时候要做的是拿一份确认能用的模型文件跑一次,排除文件本身的问题,而不是去改参数。
显存不够时的表现和格式错误完全不一样:前者是跑到一半被系统杀掉,或者报分配失败;后者是压根起不来。先分清这两种,再决定是减层数卸载还是换文件。层数卸载、上下文长度这几格最容易被顺手改大,改之前把原来能跑的那组值记下来,这是你唯一的退路。
- 起不来就退出:先换一份确认能用的模型文件,排除文件问题
- 跑到一半被杀:看系统内存和显存占用,别只看框架日志
- 上下文改大后崩:回退到原来那组值,一次只改一格
- 日志只提张量名:多半是格式或转换问题,不是参数问题
实际用下来,llama.cpp 的报错信息密度比 ollama 高,但可读性差。你得学会从一堆张量名里挑出关键那句,通常就是最后几行。
什么情况下这套顺序不好使
换机器、换驱动之后出的问题,先查运行环境和显卡驱动,别往模型参数上找。同一份配置昨天能跑今天不能跑,先看系统和显存有没有被别的进程占了,而不是框架本身。这两类问题的共同点是:你改半天参数,配置一点没错,只是环境变了。
还有一种情况:如果你只是想要个能对话的界面,纠结框架层报错可能不划算。换个更省事的路径更合理,比如先用托管接口把需求跑通,等真有必要再回来啃本地部署。判断标准很简单——你花在排查上的时间,已经超过这件事本身的价值了。
想对比不同运行方式的成本,或者想先确认某个中转站靠不靠谱再决定要不要本地跑,可以去站内对应页面看当时的数字和检测结果,别凭印象拍板。
下一步先按现象对照表定位到层,再去核对具体数字和检测结论,比盲目改参快得多。→常见问题
ollama 能用但 llama.cpp 跑同一个模型就报错,是不是模型坏了?
大概率不是。ollama 拉下来的是它自己转换过的版本,llama.cpp 要的是原始权重转出来的格式。两边的文件不通用,先确认你手里这份是不是为 llama.cpp 准备的。
模型加载成功、也能出字,就是特别慢,该查哪里?
先看是不是只用了 CPU 在跑,再看上下文长度是不是设得太长。这两处最常导致「能跑但慢得离谱」,改完再谈量化档位。
两个都想试,先装哪个?
只想尽快跑起来对话,先上 ollama;要自己控制参数、调量化、接自定义流程,再上 llama.cpp。反过来先装 llama.cpp,容易在第一步就被格式问题劝退。