搜「vllm和llama cpp哪个好」的人,多半是手上有一张卡、一个模型文件,想知道装哪个。问题在于这两者根本不是同一层的东西:一个冲吞吐和服务化去的,一个冲单机跑起来和省显存去的。这篇不讲谁更强,只讲你手里的场景落在哪一边,以及怎么用半天时间自己验一遍,而不是听别人一句话下结论。
搜这个词的人通常情况差不多:手上有一张卡,下好了一个模型文件,站在安装命令前不知道该敲哪一条。网上答案两派吵得凶,一派说 vllm 快,一派说 llama.cpp 省,你看完还是没结论。问题出在问题本身——这俩压根不是一层的东西,一个是把模型变成能持续接请求的服务,一个是把模型文件在你这台机器上跑起来。先想清楚你要的是哪一种,选型才有意义。
这篇不评谁更强,只给两样东西:一张场景对照表,让你三十秒内知道自己落在哪边;一套半天的验证顺序,让你用自己的模型、自己的机器跑出结论,而不是听别人一句话就装。装错了再重装的时间,远比先花十分钟想清楚要贵。
先分清它们各自在替你干什么
llama.cpp 的主场是「让这个模型文件在这台机器上跑起来」。它操心的是量化格式怎么读、显存不够时怎么把一部分层丢给 CPU 内存、单机能塞下多大的上下文。你给它一个 gguf 文件加一条命令,它就跑,不要求你先搭一套服务框架。这是它的好,也是它的边界——它没打算做请求排队这件事。
vllm 操心的是另一件事:模型加载好之后,怎么同时接住一堆请求,怎么把显存切成块反复利用,怎么让第十个请求不用等前九个全部答完。它的价值在并发和调度,不在单次回答有多快。所以如果你的使用方式是「我一个人问它答」,vllm 那套调度本事你基本用不上,反而先要应付它更硬的环境要求。
四类场景,对号入座就行
| 你的实际用法 | 更该先试谁 | 原因 |
|---|---|---|
| 一个人试模型,验证中文能力行不行 | llama.cpp | 一个文件一条命令,不用先折腾依赖和服务框架 |
| 几个人或几个程序持续调用同一个模型 | vllm | 并发调度和显存复用是它存在的理由 |
| 显存紧,想拿 CPU 内存补一部分 | llama.cpp | 分层卸载的策略更宽松,vllm 显存不够直接起不来 |
| 手上一堆来源不一的量化文件 | llama.cpp | 对单文件量化格式更友好,vllm 更吃原始权重结构 |
| 已有按 OpenAI 格式写的调用代码 | vllm | 接口天然对得上,llama.cpp 也能起兼容接口但要自己核参数 |
表里没有「哪个更快」这一栏,因为这个问题离开场景就没有答案。同一张卡上,单条请求的响应时间可能差不多,但把三个窗口同时发请求进去,差距就出来了。你真正该问的是「我的实际用法长什么样」,而不是「谁的性能数字好看」。
别问别人,用半天自己验
别人的结论对你参考价值有限,因为模型不同、卡不同、量化档位不同,结论就翻篇了。与其继续刷帖子,不如拿半天做一轮对照实验。顺序别乱,前一步没结论就别做下一步。
- 同模型同提示词各跑一次只记三件事:首次加载花多久、第一条回答多久出来、连问十条会不会越来越慢。别测一次就下结论,至少跑三轮取个感觉。
- 模拟真实并发如果实际是三个人同时用,就真开三个窗口同时发。llama.cpp 在这一步的短板会立刻显形,而单线程测试永远测不出来。这一步最容易被跳过,也最值得做。
- 看报错落在哪一层装不上、权重加载失败、接口连不通是三件不同的事。别一报错就重装,先分清卡在哪一层,再到 /models/deploy 按你的模型和卡型对一遍显存与量化口径。
- 把结论写成一句话比如「这个模型只在 A 机器上给内部三个人用」。贴进团队文档,下次不用从头再吵一遍。
这套流程里最容易做错的一步是第二步。很多人测完单条请求就以为完事了,结果上线当天被并发打回原形。另外提醒一句:测的时候用的量化档位要和实际部署一致,拿高精度文件测出来的加载时间,跟实际跑的低精度文件对不上。
跑起来之后才冒出来的成本
选型时大家盯显卡,跑起来才发现麻烦在别处。vllm 是要常驻的服务,占端口、要有人管进程、挂了得重启,这些都得有人兜;llama.cpp 一次跑完就结束,省心,但没法当常驻服务给团队用。两条路的运维工作量不一样,别只比安装难度。
- 按真实调用量估成本,用 /tools/model-cost-calculator 把手上的请求量代进去,别拍脑袋估并发数
- 价格和租金变动快,具体数字到 /compute/price-index 看当时的口径,别拿旧截图当依据
- 常驻服务和一次性跑批是两种形态,先定形态再定机器规格
- 如果压根没打算自己跑、只是在挑调用渠道,这两个都不该进候选名单
什么情况下上面这套判断不适用:你只是偶尔试一个模型看看效果,那装 vllm 属于杀鸡用牛刀,光配环境就能耗掉你半天;反过来,你要给一个五人小团队做内部工具的后端,llama.cpp 扛不住并发那关,早晚要换。判断标准始终是你自己的使用形态,不是网上谁的嗓门大。
选型不是选最强的那个,是选跟你用法对得上的那个——对不上的话,再强的工具也是负担。下一步拿不准自己该走哪条路,先去站内的模型部署对照页按你的卡型和模型规模查一遍,再回来做那半天的对照实验,比继续刷评测省时间得多。→
常见问题
我只有一张消费级显卡,是不是只能用 llama.cpp?
不一定。看你要不要持续对外提供服务。只是自己试模型、跑几个提示词,llama.cpp 更省心;如果确实要让别的程序反复调,先按模型大小和量化档位算一遍显存,够的话 vllm 一样能起,不够才是真选不了。
两个都装会不会冲突?
不冲突,但别指望它们共用同一份权重文件,格式和目录习惯不一样。建议分目录放,端口也错开,先各自单独跑通再考虑同时留着,不然连不上时分不清是谁的问题。
听说 vllm 更快,那我是不是该直接上它?
「快」要看是哪种快。单条请求的首字延迟和多人同时用时的总吞吐不是一回事,前者 llama.cpp 在单机上未必输。你该测的是自己真实的使用形态,而不是别人跑出来的那个场景。