llama.cpp推荐清单:钱要花在真用得上的地方

入门与上手

讲清 llama.cpp 推荐清单该怎么列:先按量化档、显存、后端三条线判断,再决定装什么、升什么、什么情况下不该折腾。

搜 llama.cpp 推荐清单的人,多半是刚装完或正准备装,面对一堆编译选项、量化档位和显卡后端不知道哪些跟自己有关。这篇不给你一份抄不完的列表,而是给你一套筛法:先量清楚手里的机器,再按三条线挑,最后有个能照着跑的验收顺序。

搜 llama.cpp 推荐清单的人,大概分两种:一种刚把仓库拉下来,对着编译选项发呆;另一种装完跑起来慢得离谱,怀疑自己漏了什么关键步骤。两种人其实缺的是同一件事——不是一份别人的配置单,而是一套判断自己该装什么的方法。别人的清单看着热闹,抄过来跑不动的情况太常见了,因为显卡不同、内存不同、想干的事也不同。

这篇给的是筛法,不是抄本。先把手里这台机器量清楚,再顺着量化档、显卡后端、接口用法三条线各挑一遍,最后按固定顺序验收。哪一步都能落地,哪一步也都能先跳过——有些情况下这份清单压根不该照着用,后面会讲。

这份清单到底在列什么

先泼盆冷水:网上那些 llama.cpp 推荐清单,真正跟你有关的部分大概只有三块——跑得动的前提、跑得快的开关、跑得稳的检查。剩下的都是别人的机器型号、别人的编译命令、别人喜欢的参数,对你没什么参考价值。所以看清单的时候先过滤,凡是没交代机器配置的条目,直接跳过。

还有件事得先想明白:你要拿它干什么。只是周末试玩两把,和准备长期在本地做问答,再和把它当后端嵌进自己的程序给几个人调用,这三条路要装的东西完全不一样。试玩的人不用碰编译,长期用的要琢磨上下文缓存,做后端的得先确认接口兼容性。目标没定就动手,装完大概率还得再来一遍。

动手挑之前,先把三件事量出来

装之前先量,这个习惯能省掉一半折腾。要量三样东西,都不复杂,关键是量的时候保持真实使用状态——浏览器开着、编辑器开着,这时候剩下的显存或可用内存才是你真正能用的。关掉一切去量个漂亮数字,装完照样爆显存。

  1. 量显存余量在正常开着日常软件的桌面上看任务管理器或显卡工具的显存占用,用总量减去已用,得到余量。这个数是你后面挑模型档位的上限,不是标称容量。
  2. 算模型文件加上下文模型文件本身占一块,上下文长度再占一块,两者要一起算。上下文开得越大,额外占用涨得越快,所以别只看文件大小就下结论。
  3. 记基线延迟先用站内接口测速工具把当前能跑出的首字延迟和出字速度记下来,写在记事本上。后面每次调参、换后端,都跟这个数比,靠感觉判断快慢非常不靠谱。

第三件事最容易被忽略,但恰恰最关键。没有基线,你改完参数只会觉得「好像快了点」,实际上可能更慢了。基线不需要多精确,有个数字放着,改完一对比,方向对不对立刻清楚。

第一条线:量化档位怎么挑

量化档位的挑法说白了就一句:从吃得下的最大档位往下试。先保证装得进去、跑得起来,再谈质量。装不进的高档位,质量再好也跟你没关系,下载几个小时最后加载失败,纯属浪费时间。所以顺序是先看余量,挑一个大概率能塞下的档,跑通之后再试着往上跳一档,跳不动就退回来。

有个连带关系要记住:量化档和上下文长度是一起算的,不能分开看。你可能挑了个刚好塞下的档,结果上下文一开大,直接溢出。实际用下来,稳妥的做法是给显存留一点余量,别卡着上限装。至于各个档位后缀代表什么、哪个更省内存,别凭文件名猜,去词典页对照一下术语,比瞎试快得多。

你要做的事挑档思路什么情况不适用
本地随便试玩挑能塞下的中间档,跑通就行机器余量很小时,直接选最小档
长期本地问答留余量选稳的档,上下文别开太满要处理长文档时需重新核算占用
给程序当后端以稳定优先,档位宁低勿高并发上来后显存不够,要降档或减并发

上面这张表的意思是,档位没有绝对的好坏,只有跟你目标配不配。同一个档位,试玩够用,做后端可能就不稳。挑的时候对着自己的场景看,别对着别人的推荐看。

第二条线:显卡后端和编译选项

显卡后端这一步,坑主要在走错路线。走错的时候症状很有迷惑性:模型能加载,也不报错,就是慢得让人怀疑人生。很多人到这个阶段会以为是模型太小或者档位选低了,转头去折腾量化,结果白费力气。所以先确认你那块卡属于哪一路后端,把编译选项对着那一路上,别混着抄。

编译参数这块,我的建议是先别急着装一堆开关。默认配置能跑通,就已经完成一大半了。然后一次只加一个开关,加完立刻跑同一个模型、同一个问题,跟基线比数字,记下来。一次加五六个参数,最后快了也不知道是哪个起的作用,慢了更不知道从哪退。

  • 先确认显卡走哪一路后端,再决定编译时带哪些选项
  • 默认配置先跑通,跑不通再逐个排查,别一上来堆参数
  • 每加一个开关就记一次延迟,跟基线对比,没变化就撤掉
  • 只有 CPU 的机器不必碰显卡相关选项,把线程数调顺更实际
  • 重装之前先看日志里第一行报的是什么,别靠猜

最后一条特别值得说。我见过有人加载失败,二话不说重装整条工具链,折腾一下午,其实日志第一行就写着模型路径不对。排查顺序永远是从日志第一行开始,从加载、推理、接口三层依次往下看,哪层报错修哪层。

第三条线:接口怎么用起来

接口这层先想清楚一件事:谁来调用。自己对着终端试聊,用自带的服务端就够,起来就能用。要接进自己的程序里,就得看接口兼容性,是不是能按你熟悉的格式发请求。这两件事决定了你该开哪些参数,不是反过来先开一堆再看能干什么。

并发和上下文缓存这两个设置,第一次跑通的时候都设保守点。跑满不是目标,跑通才是。尤其是几个人共用一台机器的情况——比如一家五人的小团队,一台机器两三个人轮流调接口,瓶颈往往不在算力,而在排队。这时候把并发限制调低一点,每个人的等待反而更短,因为不会互相挤占。

装完之后的验收顺序

装完别急着下结论,按固定顺序验收三件事:能不能完整加载模型、首字返回要多久、连续多轮之后会不会变慢。这三步对应加载层、推理层和长时间运行的稳定性,一层一层过,出了问题也知道停在哪。

  1. 看加载完整加载一次模型,确认没有报错、没有中途退出。加载失败就直接看日志,别往下走。
  2. 测首字发一个固定问题,记下从发出到第一个字返回的时间,跟装之前量的基线对比。
  3. 压多轮连续问十几轮,观察后面几轮是否明显变慢。变慢通常跟上下文缓存或显存余量有关。

三步都过了,再谈调优。有一步没过,就停在那一步排查,别急着换模型或者重装。验收记录下来的数字也有用——下次换机器、换档位,直接拿来对照,不用重新凭感觉。

什么情况下这份清单可以不合

最后说清楚哪些情况别照着这份清单折腾。只是想在本地随便聊两句,用封装好的图形界面工具更省事,编译那套完全不必碰。机器还在用集成显卡、内存也有限,先把目标降到小参数量模型,别拿大模型清单硬凑,凑不出来还耽误时间。

还有一种:你要的是稳定对外提供服务。本地单机方案在这种场景下未必是最优解,可能排队、可能一台机器扛不住。这时候该做的是回头比较几种接入方式,而不是在单机上继续加参数。判断标准很简单——如果你的使用人数会持续增长,先去看接入方案的对比,再决定要不要继续在本地调。

下一步想先知道自己机器的底子在哪,去测速页跑一遍,把首字延迟和出字速度记下来,再回来对着这份清单挑档位和后端,会顺很多。各家接入方式的价格和延迟差异,去价格追踪页看当时的数字。

常见问题

llama.cpp 推荐清单是不是照着别人的配置抄就行?

抄配置只能解决装什么,解决不了你这台机器能不能跑。同样的模型文件,显存余量和上下文长度不同结果差很远。先量自己的余量,再从能吃下的档位往下挑,抄的部分只用来确认该开哪几个开关。

量化档位越低是不是一定越差?

低档位省空间、速度也往往更快,但细节和长文表现会松。关键是先用能装下的最高档跑通,再看实际任务里是否够用。如果只是分类、抽取这类活,低一档常常没感觉;写长文或做推理就该往上留余量。

显卡没被识别,是不是要换卡?

先别急着换。多数情况是后端路线装错或编译时没带上对应支持,症状通常是能加载但速度像纯 CPU。按加载日志确认走的是哪条路,再决定是重编还是改参数。这一步没确认前换硬件是白花钱。

上下文开多大合适?

看你要喂多长的材料,不是越大越好。开大以后显存占用上升,能塞进去的量化档位就得往下调。日常问答从中等长度起步,跑顺了再往上加,一次加一档并记录显存变化,比一步到位稳。

本地跑和用接口该怎么取舍?

差在数据是否出本机、要不要长期花钱、能忍受多少延迟。数据敏感或断网也要用,本地更合适;只是偶尔试效果、要追新模型,走接口更省事。四条接入路子的比较可以另找站内文章看,这里只提醒别为了本地而本地。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。