ollama 和 vllm多少钱:先把这笔账拆成四份再看

模型与算力

把 ollama 和 vllm 各自的费用来源拆成授权、算力、运维、隐性开销四块,给对照清单和判断口径,帮你先算出自己那一份。

搜「ollama 和 vllm 多少钱」,多半是刚把模型跑起来,突然想知道这条技术路到底要不要掏钱、掏在哪。这两个工具本身都不收授权费,真正花钱的是底下的卡、电、人和那些没人提前告诉你的时间成本。这篇不给报价,给的是把账拆开的顺序和判断口径。

搜「ollama 和 vllm 多少钱」,多半是模型已经跑起来了,突然想搞清楚这条路到底要不要掏钱、掏在哪儿。先说结论:这两个工具本身都不收授权费,装下来是零成本。真正花钱的是底下的卡、电、人,还有那些没人提前告诉你的时间开销。所以这笔账不能当一笔算,得拆成四份,一份一份对。

下面这套顺序是按「先确认哪层免费、再算哪个差异最大、最后把漏掉的补上」排的。你如果只是想快点知道自己那一份大概多重,可以只看前两节加最后那节判断口径;如果已经在两套方案之间犹豫,四节都过一遍更稳。

先分清哪一层是真的免费

ollama 和 vllm 都是开源软件,下载安装不收费,这句可以先放心。但「免费」只覆盖软件这一层,模型权重、显卡、电费、你花的时间,全在它之外。很多人算账时把这四样默认成零,结果一上手就发现不是那么回事。

唯一容易混的是模型授权。同一个权重,你自己内部跑着玩和对外提供接口,商业条款往往不是一回事。有的模型许可证允许内部使用但限制商用分发,有的要求署名,有的对月活或营收有门槛。这不归 ollama 或 vllm 管,得按模型自己的许可证一条条读,别看到「开源」两个字就跳过去。

显卡和电费:差异最大的那一块

这一层是 ollama 和 vllm 拉开差距的地方。ollama 走单机路线,显存够就能跑,适合验证和小规模用。vllm 冲的是并发和吞吐,单卡吃不下就得加卡,甚至多机,同一份工作两边要的硬件往往不是同一个量级。所以别问「哪个便宜」,先问「我的负载需要哪一档」。

  • 先看显存能不能装下你的量化档位,再看要不要给并发留余量;某个型号跑某个参数量要多大显存,到 /models/deploy 按当时的口径估一遍
  • 买卡和租卡是两条完全不同的账,三年周期怎么摊在 /compute/tco 有对照,别只比第一天的单价
  • 电费和散热常被忽略,尤其是满负载长时间跑的时候,机房电费和家用电路的差别不小

实际用下来,最容易出错的一步是把显存估算当成精确值。量化档位、上下文长度、并发数任一变化,需求就跟着变。建议按你预期负载上浮一档去选,而不是卡着理论下限买,省下的那点钱后面会用调参时间补回去。

运维和人力,最容易被漏算

vllm 的启动参数、张量并行、模型 recipe 版本匹配,都要人盯。参数填错一格、并行度配得不匹配,服务起不来或者吞吐上不去,排查起来就是半天。ollama 上手快,但并发一高就得自己加代理、限流、健康检查,这些活儿不会自己消失。

  1. 估工时把部署、调参、日常巡检、故障排查各估一个每周小时数,别只算一次性部署
  2. 乘人力单价用团队实际的人力成本折算,很多方案在这一步就分出高下
  3. 看有没有那个人团队里有没有能读日志、能改启动脚本的人,直接决定隐性成本高低;没有的话,选简单的那条路更划算

说白了,运维成本跟团队能力挂钩,不是跟框架好坏挂钩。同一套 vllm,有人半天调通,有人一周还在跟版本打架。评估时先诚实回答「我们这边谁来干」,比对比参数更有用。

那些不写在账单上但会咬人的开销

模型权重和缓存的磁盘占用、镜像拉取流量、内网传输,这些是部署完才发现的固定支出。权重动辄几十 GB,多存几个版本磁盘就满了;每次拉镜像的流量在按流量计费的云上也实实在在。

还有一种隐性开销来自「为了省钱而省钱」。挑最便宜的渠道、用最极端的量化档位,往往换来稳定性下降和反复调试,最后花的钱比一开始选稳妥方案更多。我见过装错依赖包、把张量并行参数填成单卡值、服务起不来的情况,折腾一晚上的时间成本远超那点差价。

建议评估期先用小模型和小机器把链路跑通,确认这条路值得再扩。这一步能省掉的,比你在两个框架之间反复比较省下的多。

什么时候这套算法不适用

上面四份账不是所有场景都要算。调用量很小、任务也不急的时候,直接用官方 API 或中转站按量付,通常比自建省事,四份账根本不用展开。有强合规或数据不出内网要求时,成本要让位于合规,不能拿价格表当唯一判据。

你的情况建议先看哪份账容易踩的坑
调用量小、任务不急不算,直接用 API 或中转按量为省一点钱自建,运维时间反而更贵
长期稳定、有并发算力 + 运维两份并重只比卡价,忽略调参和巡检工时
数据不能出内网合规优先,成本第二拿价格表做唯一判据,选错路线
预算一次性、用量不确定租卡优先,别急着买被「跑得久就摊平」带偏,买了用不满

还有一种情况:预算一次性、没有长期用量预期,租卡比买卡合适。别被「跑得久就摊平」这句话带偏,摊平的前提是你真的持续跑那么久。用量预期说不准的时候,灵活比单价重要。

下一步把你自己的负载和团队情况带进去,到站内算力成本页按当时的数字对一遍,比在评论区问「多少钱」靠谱得多。

常见问题

ollama 和 vllm 本身要付费吗

两个都是开源工具,装下来和跑起来都不收软件授权费。真正花钱的是显卡、电、机架和运维人力,模型权重本身也有各自的授权条件。所以问「多少钱」,答案不在工具上,在你打算用多少卡、跑多久。

只有一个人用,还有必要算这些吗

用得少就别算,直接按量调用更划算。四份账的价值在你有稳定日常用量、或者要给团队开接口的时候才体现。先跑一个月,把真实用量记下来,再回头算不迟。

怎么知道我这套配置大概要多少卡

别拍脑袋。先把模型参数量、量化档位、并发预期三件事定下来,到 /models/deploy 按当时的估算口径过一遍,再看 /compute/gpus 对卡型。估完留一点余量,实际跑起来再校准。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。