搜这两个框架多少钱,多半是刚跑通一个 demo,准备上正式服务了。麻烦在于它们本身不收费,开源得很彻底,钱都花在别处:卡怎么租、电怎么算、人调参要几天、模型文件要不要常驻。这篇不报具体数字,只给你一张拆账的清单,让你对着自己的场景把每一项填进去。
搜这两个框架多少钱,多半是刚跑通一个 demo,准备上正式服务了。麻烦在于它们本身不收费,开源得很彻底,钱都花在别处:卡怎么租、电怎么算、人调参要几天、模型文件要不要常驻。你搜「vllm和llama cpp多少钱」,大概率搜不到一张价目表,因为它们根本没有价目表。
这篇不报具体数字,只给你一张拆账的清单。对着自己的场景把每一项填进去,你就知道钱该先花在哪、哪笔其实能省。有一步是先量需求再谈钱,很多人跳过了这一步,直接去问租卡单价,结果租回来利用率一半都不到。
软件本身不收费,别在这上面找账单
两个项目都是开源许可,装、跑、改都不花钱。真正掏钱的是它们脚下的机器。你要是拿这个当理由去申请预算,财务那边一句话就能把你问住:机器谁出?所以别在框架本身找费用,往下看一层。
也别把「免费」理解成零成本。下载权重、编译带 CUDA 的版本、调参试错,都要占人时。一个下午装错依赖重来两遍,这种支出不进账单,但确实在发生。许可证只解决能不能商用,跟花多少钱是两件事,商用前单独把授权条款核一遍,别拿「开源」当免责。
把费用拆成四笔:卡、电、人、时间
卡是最大头,但别按参数量估显存。要按并发和上下文长度算,量化后的权重加 KV 缓存留余量。算卡这一步可以用站内的 算力与显存估算(/compute/sizing) 按模型过一遍,比自己拍脑袋准。
电和机时经常被混在一起。常驻服务和偶尔跑一次,差得很远;机器开着不出活儿也在计费。家用电和机房电是两套账,家用电你还得考虑噪音和散热,这些不写进预算但跑不掉。
| 这笔账 | 什么时候最重 | 怎么压下来 |
|---|---|---|
| 租卡或买卡 | 并发高、上下文长 | 先量需求再选卡,别按峰值配 |
| 电力与机时 | 服务常驻、夜里没人用 | 设闲置停机,或按需起停 |
| 人力调参 | 第一次从零配环境 | 先照官方最小示例跑通,再改参数 |
| 等待时间 | 冷启动频繁、调用有高峰 | 常驻热实例,或换成托管接口 |
人力这一笔,说的是 llama.cpp 的编译参数、量化选型,以及 vLLM 的 max_model_len 和并行配置。第一次配通常要耗掉好几天,第二次就快很多。所以如果你是第一次碰,把这几天算进成本,别只算租卡钱。
时间这笔更隐蔽。冷启动和加载权重的等待算不算成本,取决于你的调用是不是有高峰。凌晨没人调,等就等了;白天一秒钟都嫌长,这时候常驻实例的钱可能比排队损失更划算。
单人试跑、小团队服务、对内批量,三条路的花法不一样
只管自己试,一台机器一条命令,费用基本等于你已经有的那台电脑,额外支出近乎零,折腾成本才是大头。这种场景别去买卡,先把手头的机器用熟。
给几个人提供接口就不一样了。并发一上来,llama.cpp 单进程排队的毛病会暴露,这时候要比较换 vLLM 多花的卡钱和排队带来的损失哪个大。判断标准很简单:看有没有人抱怨等太久。有人抱怨,说明排队已经在花钱了,只是没写在账单上。
- 单人试跑:不额外买硬件,重点在把流程跑通
- 小团队接口:先测并发下的排队情况,再决定要不要换框架加卡
- 对内批量:按批算总耗时,看显存利用率而不是峰值速度
- 临时验证模型效果:直接调官方 API 或托管接口,通常比自建便宜
第三种是对内批量跑任务。按批算总耗时,看显存利用率,别只看峰值速度。闲置一半的卡是最贵的卡,这句话你租一段时间就懂了。
下单前照着核一遍,能挡掉大半冤枉钱
- 先量需求日均请求数、平均输入输出长度、能不能接受排队,三个数没有就先别租。
- 再选卡显存按量化后的权重加 KV 缓存留余量,别按原始精度估,用站内估算页过一遍。
- 最后算总账把租卡单价、预计每天运行小时、人力折进去,对照站内当期数字看总账而不是单价。
有一个不适用的情况得说清楚:如果你只是想验证某个模型答得好不好,直接调官方 API 或托管接口通常比自建便宜,别急着买卡。自建的钱要等你有了稳定的调用量和明确的延迟要求,才花得值。
反过来,如果你的数据不能出内网,或者调用量已经稳定到可以按天估算,那自建的账就划得来,但前提还是先把上面三步走完。价格会变,配置也会变,别拿几个月前的印象当依据。
下一步想比不同租卡方案的当期数字,到站内的算力与租卡页面看,把总账算出来再决定;顺便用价格追踪盯一段时间的波动。→常见问题
vLLM 和 llama.cpp 需要买授权吗?
不需要,两者都是开源项目,下载和运行不收费。真正要核对的是你加载的模型权重本身用什么许可证,能不能商用,这跟框架无关,去模型页面看授权说明。
只有一台普通电脑,跑哪个更省钱?
llama.cpp 更合适,它对消费级显卡和纯 CPU 都能跑,量化格式现成,几乎没有额外支出。vLLM 更吃显存和驱动环境,一台机器只为跑着玩去配它,多花的钱在折腾上。
自建真的一定比调 API 便宜吗?
不一定。请求量小、调用零散的时候,自建等于为一堆闲置时间付钱。只有请求稳定、并发上得去、数据又必须留在内网,自建的账才算得过来,具体单价去站内算力页面看当期数字。