本地部署大模型还需要token吗

很多人一想到「本地部署」就默认从此不用再按 token 交钱，结果上手才发现电费、租卡、运维照样在烧预算，只是换了张账单。这篇不劝你选自建还是调 API，而是把本地跑模型时「token 在哪出现、钱从哪出」拆开讲，再给你一份从零到跑通的检查清单，方便下单买卡或租卡前先对一遍。

很多人一听说「本地部署」，第一反应就是「这下总算不用再按 token 交钱了」。这话对一半。本地跑模型确实没人再拿着调用记录向你收费，但钱并没有凭空消失，只是从一张云厂商账单换成了显卡、电费、散热和运维这几张账单。你得先分清哪些环节真的免费，哪些环节照样在烧预算。

这篇不劝你选自建还是调 API，只干一件事：把本地跑模型时 token 出现在哪、钱从哪出来拆开讲，再给一份从零到跑通的检查顺序。你准备下单买卡或者租卡之前，先对着走一遍，能少踩不少坑。

先搞清 token 在本地这条链路里出现在哪

token 是模型处理文本的计量单位，这个单位在本地推理里照样存在，只是不再由厂商按条数向你收费。你输入的每段文字、模型吐出的每个字，在推理过程中都要被切成 token 才能算。区别在于，这部分算力成本从「别人向你收」变成了「你自己出」。

• 本地不算钱的部分：没有账号额度、没有调用次数上限、断网也能跑；
• 算钱的部分：显卡或租卡、电费、散热、机位与运维人力；
• 只在本地跑推理、不对外提供服务的场景，通常不会产生「按 token 计费」这件事；
• 一旦把本地模型接到对外产品或转卖算力，就回到合规与计费口径问题了；
• 想弄清 token 到底是什么、上下文怎么占额度，先到 /ai-dict/category/basics 把基础词过一遍再动手。

什么情况下账单又变成按 token 算了

本地部署免掉的是「自己用、不对外」这一档。可一旦你的用法越过了这条线，按 token 计费的口径很可能又回来了。下面这几种情况最常见，接之前先把计价单位统一，别等账单出来才对账。

对外卖接口

你把本地模型包装成 API 卖给客户，收的是算力钱，计费单位往往就是 token 或折算后的调用次数。

本地兜底 + 云端补峰

本地扛不住的请求自动切到官方或中转站，这部分照旧按 token 计价，官方口径到 /official-api 核对。

托管推理服务

模型权重是开源的，但托管方按 token 或按卡时收费，等于绕回按量计费。

第三方中转转发

用中转站做本地模型的转发和鉴权时，账单口径容易和自建混在一起。

混用模式里最容易出错的是对账。本地这一侧你以为免费，云端那一侧还在按 token 跑，两边单价单位不一样，月底看总账会莫名其妙。动手前先到 /tools/token-price-calculator 把单价换算成同一单位，再决定哪些请求留在本地、哪些放出去。

自建前的成本对照检查清单

决定自建之前，把下面这几项一条条对一遍。不是说每一项都要花大钱，而是漏掉哪一项，后面都可能变成超出预期的支出。数字会随行情变，具体数值到对应站内页面看当时的数字。

• 显存与卡数：先按参数量和量化档位估一遍，别拍脑袋买卡，估法见 /models/deploy 与 /compute/sizing；
• 硬件一次性投入 vs 租卡按小时：买卡看三年摊薄，租卡看单价波动，两条路的分界参考 /compute/tco 与 /compute/price-index；
• 电费与散热：长期满载的机器电费不是小数，机位、带宽、噪音这些容易漏算，电费口径见 /compute/power；
• 运维与人力：版本升级、权重适配、故障排查都要人，这部分在按量调 API 时本来由厂商承担；
• 许可与合规：开源权重不等于随便商用，授权边界先看 /ai-dict/category/safety 相关词条再决定。

从决定自建到跑通，按这个顺序排查

1. 先确认任务量级日请求量小、又要求随时换模型，自建通常不划算。先用 /tools/speed-test 量出云端延迟基线，再拿本地预期表现对比。
2. 锁定模型与量化档位先定模型和量化档位，再反推显存和卡数。中间任何一步算不清就先别下单，估不准就回 /compute/sizing 对一遍。
3. 单机把链路跑通确认推理框架、权重加载、显存占用都正常，能稳定出结果，再谈扩容和并发。跑不通就别急着买第二张卡。
4. 把成本写成表格分一次性投入、每月固定支出、每月浮动支出三栏，跟原来按 token 的账单并排放，差多少一眼能看出来。
5. 留回退方案本地扛不住时能否临时切回云端接口，配置里提前留好开关，别把业务押在单一环境上。

走完这五步，你手里应该有两张表：一张是本地这套的投入和每月支出，一张是原来按量的账单。哪边更合适，答案往往自己就浮出来了，不需要别人替你拍板。