ollama llama.cpp常见问题:跑不通的那一步往往不在模型上

模型与算力

把 ollama 和 llama.cpp 常被混为一谈的几类问题拆开:装哪个、模型文件怎么来、参数填在哪一格、慢和卡分别看什么,给出可照着核对的顺序。

搜 ollama llama.cpp 常见问题的人,多半是本地跑模型跑出了岔子:拉不下来、跑起来没反应、显卡看着没动、回答慢得像在等。这时候最容易做的一件事是重装、换模型、翻教程,折腾一圈还是在原地。这篇不复述安装步骤,先把问题分个层——是工具选错了、模型文件不对、还是参数根本没被读到——再给一份从哪查起的顺序,让你少走两趟。

搜这个问题的人,多半已经试过一两次了:拉模型拉到一半不动、启动完没反应、显卡风扇都不转、回答慢得像在等对方打字。这时候最容易干的事就是重装、换模型、再翻一篇教程,一圈下来还在原地。

这篇不讲怎么装,先把问题分层:是工具挑错了,是模型文件不对,还是参数压根没被读到。分层之后再按顺序查,比瞎试快得多。

先把两个名字放回各自的位置

ollama 和 llama.cpp 不是竞品关系。ollama 更像一个带模型管理、常驻服务和 HTTP 接口的外壳,它底下很多活儿就是交给 llama.cpp 这类推理引擎干的。搞清楚这层,你就不会在「到底该装哪个」上纠结半天。

选哪个看的不是谁更强,是你想要什么。只想本地跑起来聊天、顺便给别的程序留个接口,ollama 更省事,模型一条命令拉下来就能用。要指定具体量化文件、自己编排启动参数、嵌进已有工程,llama.cpp 更直接,代价是每一步都得自己写清楚。

你的情况更合适的选择原因
只想聊天、给脚本调接口ollama拉下来就能跑,服务化是现成的
手里已有 GGUF 文件要指定加载llama.cpp直接吃文件,不用绕模型清单
要精细控制量化、上下文、卸载层数llama.cpp启动参数粒度更细
团队里非技术同事也要用ollama接口稳定,换模型成本低

多数「跑不起来」卡在模型文件这一格

最常见的误判:以为模型文件是通用的。ollama 认的是它自己那套模型清单和打包格式,llama.cpp 吃的是 GGUF 文件。你把一个 GGUF 直接丢给 ollama 让它加载,大概率失败;反过来把 ollama 拉下来的东西塞给 llama.cpp,也一样不认。

真要本地文件跑在 ollama 上,得走创建模型定义那一步:写一个定义文件,把文件路径、对话模板、必要参数填进去,再让它按定义构建。这步里路径写错、模板缺失是最容易出的两个岔子,表现是能加载但输出乱码式的胡话,或者干脆报不认这个文件。

  1. 确认文件格式先看手上是 ollama 的清单产物还是 .gguf。名字后缀不代表一切,进目录看文件结构更稳。
  2. 确认工具认不认用对应工具的加载命令试一次,别直接用上层服务去猜。加载阶段的报错信息比运行阶段清楚得多。
  3. 再查显存和显卡前两步都过了还跑不动,才轮到看显存够不够、驱动版本对不对。顺序反了会浪费很多时间。

参数填错地方,等于没填

显存卸载层数、上下文长度、并发数这些关键参数,在两个工具里的位置完全不同。ollama 这边走环境变量或者模型定义文件,llama.cpp 那边是启动时带的命令行参数。位置搞混的典型表现是:配置文件里明明写了,跑起来还是默认行为。

改完一定要看实际生效值。启动日志里通常会打印最终采用的参数,以日志为准,别以你写的那份文件为准。容器里跑还多一层:端口绑定、显卡透传、地址映射,本机 curl 得通不代表别的机器能连上。

  • 改完参数先重启服务,再看启动日志里打印的实际值
  • 端口类问题先在宿主机本机测,再换一台机器测,区分是服务没起还是网络没通
  • 容器场景检查显卡是否真的透传进去,别只看 compose 文件写了什么
  • 并发和上下文一起调时一次只动一个,否则出问题分不清是谁的锅

慢和卡是两码事,别用同一套办法治

慢,通常是模型太大,被拆到内存和显存之间来回搬;或者量化档位选得不合适,硬件吃不下。卡住不动,则多半是请求根本没到、端口不通、进程已经悄悄退出了。这两种现象长得像,处理思路完全相反:一个要调资源配置,一个要查链路。

我建议的排查顺序是:先确认进程活着、端口在听,再看日志有没有报错,最后才去量生成速度。量速度别靠感觉,用站内的测速工具跑一条基线,跟同样条件下的历史结果比,比自己估快慢靠谱。

有个不适用的情况要说清楚:机器上同时在跑别的占显存任务时,测出来的数字没有参考意义。要么先清干净再测,要么就接受这次结果只能当个粗略参照。

下一步把这条基线记下来,再遇到「变慢了」时先跟它比,而不是凭印象。站内工具页有直接可用的测速入口,顺手把常用模型的结果存一份。

常见问题

ollama 和 llama.cpp 需要都装吗?

绝大多数人不需要。ollama 装完就能拉模型、起服务;只有当你要自己指定 GGUF 文件、手动调量化与启动参数,或者把推理嵌进已有工程时,才值得直接上 llama.cpp。两个都装也行,但别指望它们的模型目录互通。

为什么模型下下来了,跑起来还是报错?

先分清是文件格式不匹配还是参数没读到。GGUF 给 ollama 直接用通常不行,得走模型定义那一步;llama.cpp 则要确认启动命令里的路径和量化档位对得上。这两件事弄明白,能解决一大半“明明有文件却跑不动”。

显卡看着没被用上,从哪查?

按顺序看三层:驱动和运行时是否装对、工具启动日志里有没有识别到显卡、参数里有没有把层数卸载到显存。只改配置文件不看日志,最常见的结果是以为配了其实没生效。要是跑在容器里,还要确认显卡有没有映射进容器。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。