搜这三个词的人,多半是刚决定自己跑模型,装完第一个就发现下不动、跑不起来或者不知道怎么接进项目。问题往往不在模型,而在没想清楚自己要做单机试用、本地服务还是高并发接口。这篇按手上的活分三档,给出每档该装什么、第一周该验哪几步、报错时先从哪一层翻。
搜这三个词的人,多半已经决定自己跑模型了,结果卡在第一步:装哪个、装完怎么验、报错了该翻哪一层。等你把三个都装一遍才发现,问题往往不在模型,而是一开始就没想清楚手上的活是单机试用、本地服务,还是给一堆程序并发调用。这三种活对应的工具根本不是同一类东西。
这篇按手上的活分三档讲,每档说清装什么、第一周按什么顺序验、卡住时先查哪里。你要是只想知道结论:自己用先 ollama,GPU 上多客户端并发再上 vLLM,CPU 或必须吃量化 GGUF 文件才去 llama.cpp。下面拆开说。
先把三者的活划开,别混着装
llama.cpp 是底层的推理引擎,主要吃 GGUF 格式文件,CPU 也能跑,适合单机跑小模型和量化模型。它的好处是轻、依赖少,坏处是什么都得自己在命令行里张罗。ollama 在它之上包了一层,管模型下载、加载和常驻,对外给一个 OpenAI 风格的接口,自己用或者接本地应用很顺手。
vLLM 走的是另一条路,面向 GPU 上的高并发服务,显存调度和批处理是它的强项。单机试用时你会觉得它重,配置项多、启动慢,但一旦真有多个客户端同时打过来,这个「重」就是它该干的活。三者不是谁更强的关系,分界线是你的请求来自一个人,还是一堆程序。
- llama.cpp
- 底层引擎,吃 GGUF,CPU 可跑,单机小模型和量化模型的首选
- ollama
- 在 llama.cpp 外再包一层,管下载加载和常驻,给 OpenAI 风格接口
- vLLM
- 面向 GPU 高并发,强在显存调度与批处理,单机试用偏重
按手上的活选一档,别追全能
最常见的误判是「先装个最全的」。实际用下来,装 vLLM 只为了自己聊两句,光调启动参数就能耗掉一个下午。反过来,拿 ollama 硬扛十几个客户端并发,后面的排队和超时会让你怀疑机器坏了。先承认自己处在哪一档,能省掉大量试错。
| 你要做的事 | 先装哪个 | 什么时候该换 |
|---|---|---|
| 自己电脑上试模型、偶尔对话 | ollama | 基本不用换,够用就停 |
| 本地知识库、接 Open WebUI 一类工具 | ollama | 并发明显吃不住、经常排队时再考虑 vLLM |
| 给团队或产品提供接口、多客户端同时打 | vLLM | 一开始就别在 ollama 上反复调并发 |
| 只有 CPU、或显存很紧且必须跑某个 GGUF | llama.cpp | 命令行起服务,别指望 ollama 覆盖所有格式 |
还有一种情况不在表里:你只是想看看模型效果。这种直接走官方 API 或中转站更省事,自建这一步可以整个跳过。真决定自建了,装完第一周别急着接上层工具,先按下面几步把地基验一遍。
装完第一周,按这个顺序验一遍
- 只验一次问答先让模型完整回答一句话。跑不通就去看模型文件是不是下完整了,别急着接任何外部工具。
- 验接口拿最简的请求打本机端口,确认返回结构和地址对得上。这一步翻车最多,端口号填错一格、路径前缀少一段都会失败。
- 验显存和速度记下加载后显存占了多少、一句话生成用了多久。这个基线是后面调参唯一的参照。
- 再接上层工具在工具里填服务地址,别把地址写死在代码里。换端口时只改一处,排错范围小很多。
- 留一份记录每一步用的命令和报错原文都存下来,下次不用从头再试。
这五步里,前两步是必须过的硬门槛,后三步是顺手把账记下来。顺序别乱,尤其是接口没通就去接 Dify 这类工具,最后你会分不清是模型服务的问题还是工具配置的问题。
跑不动的时候,先判断卡在哪一层
报错看不出所以然,是因为没分清它卡在哪一层。下载、加载、接口、输出质量,这四层的表现完全不同,处理方式也差得远。比如模型没下完就开始加载,表现是启动过程长时间没反应;而 GGUF 文件塞给 vLLM、或者非量化模型硬塞给显存吃紧的卡,通常直接卡在加载那一步停住。
- 卡在下载:先去看模型目录里文件大小对不对,没下完就重下,别反复重启服务
- 卡在加载:先查显存够不够、文件格式和服务端支不支持,格式不对换工具而不是硬调参数
- 卡在接口:服务起来了但请求失败,按端口、路径前缀、鉴权头三个点逐个排,用最简请求试
- 卡在输出质量:前面都通了才轮到模型和提示词,别一上来就怀疑模型选错了
- 分不清:把报错原文和启动日志最后几行截下来,比重新装一遍有用得多
这里说个具体的翻车场景:有人把 Ollama 的模型名原样抄进 vLLM 的启动命令,服务起不来,以为是显卡驱动问题,重装了两遍。其实只是命名规则不同。碰到这种情况,先确认你写的名字是哪个工具认的,再去查底层。
什么情况下这套教程可以先不看
自建不是默认正确项。只是写文案、改代码、做日常问答的话,官方 API 或中转站更省心,把时间花在部署上并不划算。数据敏感度不高、调用量也不大的场景,自己跑还得承担机器和电费,动手前先算一笔账。
团队里没人愿意长期维护,也是个信号。工具装得起来,但版本升级、显存调参、故障处理需要有人持续盯着,否则上线之后出问题没人接。这类情况托管比自己跑稳。价格和各家能力的差别,站内价格页有当时的数字,自己对着算比听推荐靠谱。
下一步想先把工具和价格摸清楚再决定装哪个,去站内对应页面看当时的数字和型号,比在这三个工具里反复试快得多。→常见问题
ollama 和 llama.cpp 是两个东西吗,需要都装吗
是两回事。llama.cpp 是推理引擎,ollama 在它基础上做了一层封装,负责模型管理和服务化。一般只装 ollama 就够用,除非你需要跑 ollama 不支持的格式,或者要手动调引擎参数。两个都装不会冲突,但没必要为了教程而重复装。
为什么我的 vLLM 启动很慢或者直接报显存不足
vLLM 启动时会预留显存给并发调度,所以对显存的要求比单机聊天工具高一截。先确认模型格式和量化方式跟你要跑的框架匹配,再看是不是把显存预留比例设太高。实在紧张就换小模型或降量化档位,具体显存和卡数可以到站内部署测算页按模型算一遍。
三个工具选哪个,有没有一句话的判断标准
一个人用、图省事,选 ollama;只有 CPU 或者要跑 GGUF 量化文件,选 llama.cpp;要给多个程序或用户提供接口、看重并发吞吐,选 vLLM。拿不准就先从 ollama 起步,等到并发和延迟真成问题了再换,换的时候上层调用地址一般不用大改。