搜「ollama 和 llama.cpp 对比」的人,多半是刚决定在本机跑模型,装到一半发现两边文档都在讲同一堆 gguf、量化、显存参数,搞不清是不是二选一。这篇不劝你选边,先把两者是上下层还是平行替代讲明白,再给几条能自己拿主意的判断标准,最后附一份装错了怎么倒查的顺序。
搜「ollama 和 llama.cpp 对比」的人,多半是刚决定在本机跑模型,装到一半发现两边文档都在讲同一堆 gguf、量化、显存参数,搞不清是不是二选一。先把结论说在前面:这不是一道单选题。你真正要选的是「直接摸引擎」还是「用一层壳管住它」,至于跑的是同一个模型,两边出来的字大概率差不多。
这篇不劝你站队。先把两者的层级关系讲明白,再给几条能自己拿主意的判断标准,最后附一份装错了怎么倒查的顺序。第一次装本地模型,最容易踩的坑不是选错工具,是连「谁管谁」都没分清就跟着教程一路回车。
先别急着比,它俩本来就不是一个层的东西
llama.cpp 干的是推理这件苦活:把模型权重加载进内存、算 token、往外吐字,性能优化都堆在这一层。ollama 是包在引擎外面的管理工具,负责拉模型、起服务、开一个本地接口,让你一条命令就能跑起来。说白了,前者是发动机,后者是带仪表盘和油门的车。
- llama.cpp
- 推理引擎,负责加载权重、算 token、做性能优化,参数直接暴露给你
- ollama
- 管理外壳,负责拉模型、起本地服务、开接口,底层通常就跑在 llama.cpp 这类引擎上
- gguf
- 本地模型常见的权重文件格式,两边都认,所以同一个文件可以喂给任一边
- 量化档
- 同一模型压到不同精度后的版本,档位越低越省内存,效果损失也越大
理解了这层关系,很多纠结自然就没了。你装 ollama,不等于放弃 llama.cpp,只是隔了一层。真正需要决策的是:底层的采样参数、上下文长度、并行数,你想不想亲手调。想调,越过中层;不想调,让外壳替你兜住。
判断模型格式和量化档能不能对上你的机器,别只凭记忆。去站内 /models 翻对应模型条目,确认文件格式是不是 gguf、有哪些量化档可选,再决定下哪个。
拿四条标准过一遍,比看参数表管用
参数表能告诉你两者各支持什么,但决定不了你该用哪个。下面四条是实际用下来最能分出岔路的,挨个回答一遍,答案基本就出来了。
- 要不要自己调采样、上下文、并行数这类底层参数:要,直接用 llama.cpp;无所谓,ollama 够用
- 机器是谁的:自己一台随手玩,ollama 省事;多人共用或要嵌进别的程序,得看你需不需要长期守护进程和稳定的本地接口
- 换模型频率:经常换不同家族的模型,ollama 的拉取和管理更省手;只固定跑一两个,llama.cpp 的编译参数可以一次调透
- 出问题想不想读贴近源码的日志:想,就越过中层直接用引擎,报错信息更接近真实原因
| 你的情况 | 更适合哪边 | 原因 |
|---|---|---|
| 只想一条命令跑起来,不碰参数 | ollama | 拉取、起服务、开接口都包好了 |
| 要精调采样和上下文,反复压性能 | llama.cpp | 参数直接暴露,改动即时可见 |
| 模型换来换去,家族不固定 | ollama | 模型管理省手,删换都简单 |
| 要把本地模型嵌进别的程序 | 看情况 | 需要稳定接口选外层,需要细粒度控制选引擎 |
有一条不适用的情况得说清楚:如果团队已经有统一的模型服务或托管推理,自己在本地再搭一套,多半是多一份要维护的东西,而不是多一份能力。这时候该讨论的是接入方式,不是引擎选型。
动手前把这几个格子填了,能少返工
- 核对模型文件和机器确认格式是 gguf、量化档和内存/显存对得上。显存怎么估,去 /models/deploy 按模型算一遍,别凭感觉下最大的档
- 先占端口本地服务多半占一个固定端口。起之前看你机器上有没有被别的程序占了,占了就会出现「进程起了但连不上」这种假故障
- 定调用方式想清楚是命令行直接对话,还是用 HTTP 请求本地地址。这两件事在两边配置里的位置完全不同,填错格是最常见的低级错
- 盯一眼磁盘模型文件比你想的大,默认下载目录在哪先看一眼。系统盘被塞满是第一次装的人绕不开的一课
这四步花不了几分钟,但能挡掉绝大部分「装完跑不起来」的返工。尤其是端口和调用方式,很多人卡在这里以为是模型坏了,其实是请求打到了别的地方。
跑不起来时,按这个顺序倒查
排查最忌东一榔头西一棒子。下面这个顺序是从便宜到贵排的:先确认最外层的东西活着,再往里查。按这个走,绝大多数问题在前两步就现形了。
- 看进程先确认服务进程是不是真的活着、有没有退出。没活着,后面都不用查
- 通端口进程活着但连不上,就用本地请求打一下那个端口,确认端口通不通、请求地址对不对
- 怀疑模型前两步都过了还报错,再去看模型文件是不是下完整、量化档有没有下错
- 量速度能对话但慢得离谱,先跑一遍本机基线,去 /tools/speed-test 对一下延迟,再判断是模型太大还是参数没调
还有一种情况挺常见:同一个模型在两边跑,结果对不上。先别归因到引擎差异,去核对两边的量化档和上下文长度是不是一致。这两项不一致带来的差别,通常比引擎本身的差别大得多。真怀疑是引擎的问题,再拿同一份模型文件、同样的参数各跑一遍对照,才有意义。
选型不是选终身伴侣,是选今天最省事的那条路;跑出瓶颈了再往下沉,比一开始反复横跳划算。下一步把你手头那个模型的部署估算和延迟基线先拿到手,再决定要不要下沉到引擎层。站内把各家中转站的可信度和价格动态也整理在一起了,想扩大规模前值得扫一眼。→
常见问题
ollama 和 llama.cpp 是替代关系吗?
不是。llama.cpp 是干活的引擎,ollama 是外面那层管理和服务的壳,很多情况下 ollama 底下跑的就是同类引擎。你真正要决定的是「自己直接调引擎」还是「用工具包起来省事」,而不是删掉一个留一个。
我机器配置一般,是不是只能用其中一个?
跟选哪个关系不大,跟你选的模型大小和量化档关系更大。配置吃紧时优先往小模型、低量化档走,两边都能跑;具体要多少内存显存,拿你的模型去 /models/deploy 按参数算一遍再决定。
装完之后本地接口连不上,先查什么?
按顺序:进程在不在、监听端口对不对、端口有没有被别的程序占、请求地址有没有写全。多数「连不上」是地址或端口填错一格,不是模型没跑起来,先别重装。