打开计费页,一堆token名词排在那:输入、输出、缓存写、缓存读、推理、图片、音频。不知道哪些跟你有关,就很容易按错的那一行估预算,月底对不上账。这篇不背名词表,先讲怎么快速排除掉你用不到的类别,再给一份从任务形态倒推的挑选顺序,最后列几个第一次接入常踩的坑。
打开计费页,一堆token名词排在那:输入、输出、缓存写、缓存读、推理、图片、音频。不知道哪些跟你有关,就很容易按错的那一行估预算,月底对不上账。这篇不背名词表,先讲怎么快速排除掉你用不到的类别,再给一份从任务形态倒推的挑选顺序。
先说清楚一件事:所谓「大模型token有哪些」,答案取决于你看的是哪家的计费页。不同厂商的分类颗粒度不一样,有家把缓存拆成写和读两行,有家干脆合成一项。所以别去找一份通用名表,要找的是「我这个请求会落在哪几行」。
先分清:你花的钱落在哪几种token上
按计费入口拆,常见就五类:输入、输出、缓存写、缓存读、特殊模态。前两类几乎所有接口都有,后三类看场景。判断标准很简单——你的请求里有没有长固定前缀、有没有多模态附件、有没有让模型先思考再答。三个都没有,后三类基本可以不管。
| 类别 | 什么情况下会计费 | 要不要关注 |
|---|---|---|
| 输入token | 每次请求发出去的提示词、上下文、历史消息 | 几乎都要 |
| 输出token | 模型生成的内容 | 几乎都要 |
| 缓存写/缓存读 | 提示词里有稳定不变的长前缀,被复用 | 有固定系统提示词才看 |
| 推理token | 让模型先思考再回答、开了推理档位 | 不开就不看 |
| 多模态token | 图片、音频、视频当作输入或输出 | 纯文本任务直接跳过 |
这张表的用法是排除,不是背诵。先看你的请求长什么样,再回来对一行。对不上的行,估算的时候直接划掉,省得被一个跟你无关的单价带偏。
排除法:三类token跟你没关系就先划掉
先做减法。没有稳定前缀的场景——每次请求的提示词都不同、系统提示词每回改——缓存类token的命中率接近零,估了也是白估。这类任务里你盯输入和输出两行就够了。
没有图片、音频、视频输入输出,多模态那几行直接不看。这条最容易被忽略:有人看计费页上有图像单价,就顺手拿去算预算,结果自己的服务根本传不了图。
- 每次请求提示词都不一样:缓存写、缓存读划掉
- 纯文字问答、不传附件:图像、音频、视频划掉
- 不让模型输出思考过程、没开推理档位:推理token划掉
- 单轮调用、没有多轮历史:只需要算一次输入加一次输出
从任务形态倒推该盯哪一行
排除完,剩下的行怎么分配注意力?别按单价高低排,按你的请求结构排。长文档问答和客服知识库,输入往往比输出大一个量级,重点看输入和缓存命中;代码补全、文案生成反过来,输出占大头,按输出单价估算更接近真实账单。
多轮对话和Agent循环是个例外。每轮都把历史重发一遍,输入会随轮次线性涨,得按会话总长算而不是按单条算。这里最容易犯的错是拿单次请求的用量乘调用次数,实际账单会明显偏高。
- 长文档问答
- 盯输入token和缓存命中,输入是大头
- 代码补全/文案生成
- 盯输出token,按输出单价估更准
- 多轮对话/Agent
- 按会话总长算,历史每轮重发
- 带图任务
- 盯多模态token,按分辨率折算不是按张数
接入前按这个顺序核对一遍
- 看计费单位定义翻接口文档,确认它按字符、按字节还是按token切分,不同厂商切法不一样,直接套别家的经验会偏
- 跑一条真实请求拿你线上最典型的一条请求实跑一次,去用量页对输入输出各是多少,别用字数估算代替
- 代进单价算单次成本把实测用量乘上你选的那档单价,得到单次成本,再乘预估调用量。单价到站内价格页核对当时的数字
- 一周后回看用量隔一周翻一次用量记录,看有没有意外增长的那一类,尤其是输入和多模态
这四步里第二步最关键。估算值和使用量页上的实际数字经常差一截,差的往往不是单价,是你对请求结构的想象。实际跑一次,很多争论就没了。
第一次接入最容易错的三处
第一个坑:把系统提示词当成不计费的固定开销。它每一轮都在重发,都在计输入。系统提示词写得越长,多轮场景下这笔账越明显,要么精简,要么靠缓存摊薄。
第二个坑:以为输出token等于字数。中英文和代码的切分比例不一样,按字数估会偏,代码尤其容易低估。第三个坑:把图片按张数估。实际是按分辨率或像素折算成token,尺寸调大一档成本就上一个台阶。
这三处都不是概念问题,是动作问题——提示词放在哪一格、用量页看哪一行、图片参数设多大。接入前挨个对一遍,比事后对着账单反推省事。
下一步各家厂商的计费分类和单价差异不小,选型前到价格追踪页对照当时的数字,再用实测请求验证一遍→常见问题
输入token和输出token为什么要分开算?
因为两者的单价通常不一样,输出往往更贵。你按一个平均价去乘总token数,结果就会在输出占比高的任务上偏低。先看接口文档里两个单价分别是多少,再按你的实际输入输出比例加权,才接近真实账单。
缓存token算不算在总用量里?
算,但计价方式不同。缓存写和缓存读各有自己的单价,通常比普通输入便宜。如果你的请求有稳定的长前缀,这部分能省下不少;如果每次提示词都变,缓存基本不会命中,估预算时可以按普通输入算。
多模态的token怎么估?
图像一般按分辨率折算成token,音频按秒或按分钟折算,各家口径不一样。别用张数或分钟数直接乘一个拍脑袋的数,去站内模型库和官方价格页看当期口径,再用一条真实素材跑一次对账最稳。