vllm和llama cpp多少钱,账单上真正冒出来的几笔费用

模型与算力

把跑 vLLM 和 llama.cpp 的费用拆成电费、租卡、人力和隐性时间四笔,给出按场景判断哪笔先花、哪笔能省的对照方法。

搜这两个框架多少钱,多半是刚跑通一个 demo,准备上正式服务了。麻烦在于它们本身不收费,开源得很彻底,钱都花在别处:卡怎么租、电怎么算、人调参要几天、模型文件要不要常驻。这篇不报具体数字,只给你一张拆账的清单,让你对着自己的场景把每一项填进去。

搜这两个框架多少钱,多半是刚跑通一个 demo,准备上正式服务了。麻烦在于它们本身不收费,开源得很彻底,钱都花在别处:卡怎么租、电怎么算、人调参要几天、模型文件要不要常驻。你搜「vllm和llama cpp多少钱」,大概率搜不到一张价目表,因为它们根本没有价目表。

这篇不报具体数字,只给你一张拆账的清单。对着自己的场景把每一项填进去,你就知道钱该先花在哪、哪笔其实能省。有一步是先量需求再谈钱,很多人跳过了这一步,直接去问租卡单价,结果租回来利用率一半都不到。

软件本身不收费,别在这上面找账单

两个项目都是开源许可,装、跑、改都不花钱。真正掏钱的是它们脚下的机器。你要是拿这个当理由去申请预算,财务那边一句话就能把你问住:机器谁出?所以别在框架本身找费用,往下看一层。

也别把「免费」理解成零成本。下载权重、编译带 CUDA 的版本、调参试错,都要占人时。一个下午装错依赖重来两遍,这种支出不进账单,但确实在发生。许可证只解决能不能商用,跟花多少钱是两件事,商用前单独把授权条款核一遍,别拿「开源」当免责。

把费用拆成四笔:卡、电、人、时间

卡是最大头,但别按参数量估显存。要按并发和上下文长度算,量化后的权重加 KV 缓存留余量。算卡这一步可以用站内的 算力与显存估算(/compute/sizing) 按模型过一遍,比自己拍脑袋准。

电和机时经常被混在一起。常驻服务和偶尔跑一次,差得很远;机器开着不出活儿也在计费。家用电和机房电是两套账,家用电你还得考虑噪音和散热,这些不写进预算但跑不掉。

这笔账什么时候最重怎么压下来
租卡或买卡并发高、上下文长先量需求再选卡,别按峰值配
电力与机时服务常驻、夜里没人用设闲置停机,或按需起停
人力调参第一次从零配环境先照官方最小示例跑通,再改参数
等待时间冷启动频繁、调用有高峰常驻热实例,或换成托管接口

人力这一笔,说的是 llama.cpp 的编译参数、量化选型,以及 vLLM 的 max_model_len 和并行配置。第一次配通常要耗掉好几天,第二次就快很多。所以如果你是第一次碰,把这几天算进成本,别只算租卡钱。

时间这笔更隐蔽。冷启动和加载权重的等待算不算成本,取决于你的调用是不是有高峰。凌晨没人调,等就等了;白天一秒钟都嫌长,这时候常驻实例的钱可能比排队损失更划算。

单人试跑、小团队服务、对内批量,三条路的花法不一样

只管自己试,一台机器一条命令,费用基本等于你已经有的那台电脑,额外支出近乎零,折腾成本才是大头。这种场景别去买卡,先把手头的机器用熟。

给几个人提供接口就不一样了。并发一上来,llama.cpp 单进程排队的毛病会暴露,这时候要比较换 vLLM 多花的卡钱和排队带来的损失哪个大。判断标准很简单:看有没有人抱怨等太久。有人抱怨,说明排队已经在花钱了,只是没写在账单上。

  • 单人试跑:不额外买硬件,重点在把流程跑通
  • 小团队接口:先测并发下的排队情况,再决定要不要换框架加卡
  • 对内批量:按批算总耗时,看显存利用率而不是峰值速度
  • 临时验证模型效果:直接调官方 API 或托管接口,通常比自建便宜

第三种是对内批量跑任务。按批算总耗时,看显存利用率,别只看峰值速度。闲置一半的卡是最贵的卡,这句话你租一段时间就懂了。

下单前照着核一遍,能挡掉大半冤枉钱

  1. 先量需求日均请求数、平均输入输出长度、能不能接受排队,三个数没有就先别租。
  2. 再选卡显存按量化后的权重加 KV 缓存留余量,别按原始精度估,用站内估算页过一遍。
  3. 最后算总账把租卡单价、预计每天运行小时、人力折进去,对照站内当期数字看总账而不是单价。

有一个不适用的情况得说清楚:如果你只是想验证某个模型答得好不好,直接调官方 API 或托管接口通常比自建便宜,别急着买卡。自建的钱要等你有了稳定的调用量和明确的延迟要求,才花得值。

反过来,如果你的数据不能出内网,或者调用量已经稳定到可以按天估算,那自建的账就划得来,但前提还是先把上面三步走完。价格会变,配置也会变,别拿几个月前的印象当依据。

下一步想比不同租卡方案的当期数字,到站内的算力与租卡页面看,把总账算出来再决定;顺便用价格追踪盯一段时间的波动。

常见问题

vLLM 和 llama.cpp 需要买授权吗?

不需要,两者都是开源项目,下载和运行不收费。真正要核对的是你加载的模型权重本身用什么许可证,能不能商用,这跟框架无关,去模型页面看授权说明。

只有一台普通电脑,跑哪个更省钱?

llama.cpp 更合适,它对消费级显卡和纯 CPU 都能跑,量化格式现成,几乎没有额外支出。vLLM 更吃显存和驱动环境,一台机器只为跑着玩去配它,多花的钱在折腾上。

自建真的一定比调 API 便宜吗?

不一定。请求量小、调用零散的时候,自建等于为一堆闲置时间付钱。只有请求稳定、并发上得去、数据又必须留在内网,自建的账才算得过来,具体单价去站内算力页面看当期数字。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。