很多人装完 Ollama、拉下一个模型、断网也能对话,就以为从此白嫖了。真跑一段时间才会发现:电费、硬件折旧、时间成本、量化后的能力缩水,都在悄悄记账。这篇不吹也不吓,按环节把「免费」和「隐性成本」拆开,给你一份能照着核对的清单,也告诉你什么场景下自建反而更贵。
很多人装完 Ollama、拉下一个模型、拔掉网线还能对话,第一反应就是:以后调大模型不用花钱了。这个判断对了一半。软件不收你授权费、本地推理不按 token 计费,这两层确实成立。但只要机器通电在跑,就一定有东西在持续掏钱——只是账单不在你的 API 后台里,而在电费、硬件折旧和你自己的工时里。这篇按环节把「免费」和「隐性成本」拆开,让你照着核对。
先说结论方向:自建能不能省钱,取决于你的调用频率、任务难度和对数据的要求,跟「有没有装 Ollama」关系不大。低频、任务多变、对效果要求高,自建往往更贵;高频、格式固定、数据不能出门,自建的账才容易算平。下面逐层拆。
先分清「免费」的三层含义
把「免费」当成一个整体会误判。它其实有三层:软件免费、调用免费、运行免费。前两层对本地部署基本成立,第三层永远不成立。搞清楚自己在哪一层省钱,才知道后面该盯哪些支出。
- 软件免费
- Ollama 本体和多数开源模型权重不向你收授权费,但许可证是否允许你的用法(尤其商用、对外提供服务)要单独确认
- 调用免费
- 本地推理不产生按 token 的账单,这一步确实省掉了在线 API 的按量支出
- 运行免费
- 只要开机跑就占用硬件、电力和你的时间,这层从来没有免费过
许可证是最容易踩的坑。很多模型标着开源,但商用条款、署名要求、再分发限制各不相同,光看仓库首页那行字不够。装之前把你要用的模型名去站内的词条和合规页面核一遍,别等对外上线了才发现不能用。
硬件是最大的一笔,但它是预付不是月付
本地跑模型的第一道门槛不是软件,是显存和内存够不够。能不能跑起来,由参数量、量化档位、上下文长度三个变量共同决定,缺一个都不行。这三个量任意一个往上调,占用都会明显变化,所以别只看「这个模型多大」,要按你实际要用的配置去算。
- 先算需求写下你要跑的目标模型、打算用的量化档位、需要的上下文长度,去站内部署测算页面对一遍显存和内存占用,别凭感觉估
- 再用小配置验证拿现有的机器先跑小参数、低量化版本,确认任务本身能不能完成;任务不成立,换多大硬件都白搭
- 最后才谈升级验证通过、且确认会长期高频使用,再考虑加内存或换卡;专门买机器前先算回本周期
已经有主力机器的人,边际成本可以接近零——反正电脑要开,顺手跑个模型不额外花钱。但专门为跑模型新配一台,性质就变了:这是预付一大笔,然后按月摊折旧,偶尔跑几次根本摊不平。用不上的机器不会因为你装了就回本。
| 路线 | 适合什么情况 | 要盯的成本 |
|---|---|---|
| 已有主力机器顺手跑 | 使用频率不高、任务简单 | 几乎只有电费,边际成本低 |
| 新买一台专门跑 | 确认长期高频、任务固定 | 硬件折旧、电费、闲置风险 |
| 租卡或云主机 | 用量波动大、想先试水 | 按小时计费,长期跑不一定便宜 |
| 托管到机房 | 需要稳定对外服务 | 托管费、带宽、运维人力 |
租卡和云主机常被当成省事方案,但它省的是前期投入,不省总量。用量不大时按小时付费确实灵活;一旦变成七乘二十四小时常驻,累计开销可能比买断还高。两条路线的取舍口径可以在站内对应页面里对着当时的数字比。
电费、噪音和散热不会出现在账单页上
长时间满载的功耗明显高于待机,这个差距按月累计是真实支出,只是它进了电费单,不进了你的账单页。功耗怎么估、按什么口径折算成月开销,站内有对应页面给了算法思路,照着填你自己的数就行。
- 七乘二十四常驻和「用完就关」,电费能差出好几倍;不是随时要响应就别常驻
- 散热和噪音是隐性体验成本:风扇持续高转会影响同一间屋子里的人,也会拉高环境温度
- 笔记本长期高负载会加速风扇老化、缩短续航,还要和你的其他工作抢资源
- 机房托管、静音改造、加装散热都属于附加支出,量小的时候不值得上,量大了才摊得动
判断标准很直接:如果你并不需要随时响应,就把常驻改成按需启动。这一步不花钱,只是改个习惯,却能同时省电费、省风扇寿命、省掉噪音。反过来说,如果你的场景要求服务随时在线,那这部分成本就是硬成本,得算进去而不是无视。
时间成本最容易被忽略
拉模型、配环境、调参数、处理各种报错,这一轮折腾很多人能忍。真正的问题是模型更新后要重来一遍、环境坏了要有人修、新同事接手要有人讲。一次性折腾和长期维护是两笔账,前者可以忍,后者必须有明确的人负责。
判断标准可以粗暴一点:如果你的一小时能换来的产出,比自建省下的那部分调用费用更值钱,那自建在账面上就是亏的。这话听着刺耳,但对小团队特别真实——往往就是同一个人反复在做这些事,还占用了本该做业务的时间。
有一类情况可以把时间成本正当化:内网、离线、数据不出门的合规需求。这时候你省的不是钱,是能不能做这件事的资格。什么样的数据必须留在本地、边界怎么划,站内合规相关页面有更细的说明,值得先看再决定。
免费的另一个代价:能跑的模型和想用的模型不是一回事
本地能顺畅跑起来的,通常是中小参数或量化后的版本。长上下文、复杂推理、多模态这类任务,跟你在线的旗舰模型差距明显。不是本地不行,是你手上的硬件决定了能跑哪一档,用同一套预期去要求它,结果一定失望。
量化是绕不开的取舍:档位压得越低越省显存,但质量损失越明显。这个平衡点没有通用答案,取决于你的任务对错误的容忍度。规格和量化相关的口径可以在站内模型资料库里对着当时的说明核,不要只看别人的一句话结论。
- 任务对准确率要求高时,本地输出需要更多人工复核,复核时间要算进成本
- 先实测延迟和吞吐,再判断这套东西能不能接进真实工作流,纸面参数不算数
- 同一任务在本地和在线各跑一轮,比较返工率,而不是只比谁快
- 如果任务本身简单、格式固定,本地小模型反而够用,别为了「更强」白花硬件钱
这一步最容易被跳过。很多人装完模型觉得很惊艳,接进真实流程才发现结果要反复改。建议先用站内工具测一轮基线,把延迟和吞吐量成数字,再决定它承担哪部分工作。
什么情况下自建是真省
自建省钱不是什么场景都成立,它有几个明显的前置条件。把下面这几条对一遍,中了就是划算,中不了就该重新考虑。
| 场景特征 | 自建是否划算 | 原因 |
|---|---|---|
| 高频、重复、格式固定的批量任务 | 划算 | 调用量越大,硬件成本摊得越薄 |
| 数据敏感、不允许出内网 | 划算 | 此时省的是合规风险,不只是钱 |
| 已有闲置算力 | 划算 | 边际成本几乎为零,属于顺手用 |
| 低频使用、任务复杂多变 | 不划算 | 硬件摊不薄,效果还未必够 |
| 对效果要求高、追求最强能力 | 不划算 | 在线旗舰的能力差距短期补不上 |
最后三条只要中两条,就走在线调用更省心。这不是说自建没价值,而是说它的价值集中在特定场景,硬套到别的场景上,省下来的钱还不够填折腾的坑。
动手前的核对清单
下面这份清单不需要全填满才能动手,但每一条都建议有答案。答不上来的那几条,通常就是你后面会踩的坑。顺序按依赖关系排,前一步没定就别急着做后一步。
- 列任务和用量写下你要跑的三类任务,标出每天大概调用次数,估一个月的总量;没有量就别谈成本
- 查资源需求按目标模型和量化档位查一遍显存与内存需求,去站内部署和容量测算页面核对
- 盘现有硬件列出你手上已经有的机器,判断是否需要新增支出;需要新增就先算回本周期
- 定体验底线明确可接受的响应延迟和上下文长度,用站内测速工具实测一轮,别靠感觉
- 确认许可核对许可证是否允许你的用法,商用和对外提供服务的情况尤其要单独确认
- 做最后对照把上面所有成本折成一个月的开销,跟按量调用同一批任务的预估费用比一比
最后一步是决定性的:把电费、折旧、你的工时都折成月开销,再拿按量调用的预估费用对照。两个数字谁高谁低,答案就出来了。注意这里的调用费用不要凭记忆,去站内官方 API 页面看当时的数字再算。
留好退路:别把自己锁死在本地
不管你最后选哪条路,都别把调用方式写死。今天本地划算,不代表半年后还划算;硬件会老、任务会变、模型会更新。留一套能切换的调用方式,比纠结当下省多少更重要。
- 把调用层写成可切换的接口,本地和在线走同一套请求格式,换起来才不痛
- 模型名和量化档位做成配置项而不是写死在代码里,升级时只改配置
- 定期记录一次实际用量和效果,用数据判断该不该继续自建,而不是凭感觉
- 关注许可证变更和模型下架的风险,关键链路至少留一个备用方案
有些人把自建当成一次性投入,装完就不管了。更稳的做法是把它当成一条会变的路线:每隔一段时间重新算一次账,该继续就继续,该切回在线就切回。切换成本低,决策就不用那么重。
下一步想动手前先把成本和能力基线量出来:去站内测速和部署测算页面跑一轮你自己的任务,再拿官方 API 的当时报价做一次对照,账清楚了再决定要不要自建。→常见问题
Ollama 本身收费吗,调用它要花钱吗
软件本体和常见开源权重不向你收调用费,本地推理也不会产生按 token 的账单。但要区分两件事:一是许可证是否允许你的使用场景,尤其商用;二是硬件、电力和维护这些运行成本依然存在,只是不体现在某个账号的账单页上。
只用 CPU 跑是不是就彻底零成本了
CPU 跑确实省了显卡这笔支出,代价是速度慢、并发差,长文本任务等待时间会很长。如果你的任务对延迟不敏感、调用量又小,这条路可行;一旦每天要跑很多次或者要接进交互式应用,省下的硬件钱会以等待时间的形式还回去。
本地跑会不会比调 API 更贵
取决于用量和使用方式。高频、稳定、格式固定的任务,自建通常更划算;低频、任务多变、对效果要求高的场景,硬件折旧和维护时间加起来往往超过按量调用。算的时候别只算硬件,把折腾和维护的时间也折算进去。
断网能用,是不是就说明没有任何外部依赖
断网能对话只说明推理这一步不依赖外部服务。模型文件的获取、版本更新、依赖安装这些环节通常还是要联网完成一次。另外如果你在此基础上接了联网搜索或知识库,那部分会重新引入外部依赖,需要单独评估。
怎么快速判断自己该不该自建
看三条:每天调用量够不够大、数据能不能出门、你有没有闲置算力。三条里满足两条以上,自建值得认真算一遍账;只满足一条甚至一条都不满足,先用在线调用,等用量和需求稳定了再考虑迁移。