大模型token注意事项:第一次接入最容易算错的那几笔

成本与用量

把输入输出、缓存、重试、长上下文这几处容易算错的地方拆开讲,给出对齐口径和自查顺序,让账单和预估不再差一大截。

第一次接大模型 API,多数人以为把单价乘上字数就够了,跑一周发现账单对不上。问题基本不在价格表,而在你按什么单位算、算的是哪一段。这篇不讲概念,只给判断标准和一套对账顺序:哪些项必须分开记,哪些情况这套算法不适用,怎么在动手前就把坑堵住。

第一次接大模型 API,很多人以为把单价乘上字数就能估出账单,跑一周发现完全对不上。问题往往不在价格表,而在你拿什么单位算、算的是哪一段。这篇不讲分词原理,只讲几处最容易算错的地方,以及一套能照着走的对账顺序。

先说清楚适用范围:这套算法针对的是按 token 计费的文本接口。如果你用的是按次、包月、按张按秒的多模态接口,后面有一节专门讲为什么不适用,别硬套。

先对齐单位,别拿字数当token

中英文、代码、标点挤进同一个分词器,折算比例完全不同。同一段两百字的中文说明,翻成英文喂进去,token 数可能差出好几成。你拿字数乘单价糊一个总数,误差就是这么来的。更麻烦的是不同厂商用的分词器不一样,同一句话两家报的数能差一截。

  • 按「百万 token」标的价,先换算成单次调用的成本,别拿总价直接吓自己
  • 同一条提示词分别喂给备选的几家模型,看各自报的 token 数,差得多先查分词器差异
  • 自己写个几十行的脚本,把真实业务里的典型提示词跑一遍统计,比拍脑袋靠谱
  • 固定开销别漏:系统提示、工具描述、格式说明每次都在,累加起来不小

判断标准很简单:你手算的 token 数和接口返回的 usage 字段对不上,先别看价格,回头查分词口径。站内有个 token 价格计算器,把提示词和调用次数代进去就能出数,省得自己换算。

输入和输出是两笔账,不能混着估

输出的单价一般比输入高,这一点多数人知道。真正容易翻车的是输出长度不受你控制:你让它总结一段话,它可能回三行,也可能回三段。按输入估出来的预算,输出那栏直接翻倍,总数就崩了。

做法是把两栏分开写:每次调用的输入 token 乘以调用次数,输出 token 乘以调用次数,两个数各自记,最后加总。别图省事合并成一个「总 token」。合并之后你根本看不出是提示词写长了还是模型话太多,优化无从下手。

还有一个细节:多轮对话里历史消息是跟着一起进去的,第二轮输入等于第一轮的输入加输出再加新问题。聊得越久,每轮输入越贵。这条在长上下文小节里还会展开。

重试、缓存、长上下文这三处最会偷偷放大账单

请求超时重发,很多平台按实际发出的请求计费,你日志里记一条成功,后台可能记了三条。用量永远比日志多,八成是这里。做法是在代码里给重试加计数,单独打日志,别和正常请求混在一起。

缓存这事儿更容易误解。缓存命中与未命中的计价不同,同一个系统提示反复用才划算。但第一次跑、或者提示词稍有改动,基本全按未命中算。别拿命中价去估首月成本,会低估。

项目怎么记容易错在哪
重试单独计数、单独打日志按成功条数估,漏掉失败重发
缓存区分命中与未命中两栏拿命中价估首月
多轮上下文按轮次累加历史长度按单轮长度乘次数
固定提示每次调用都算一遍只算用户输入那一截

长上下文这块最反直觉:多轮聊天的成本是往上叠的,不是线性增长。上下文越长,每轮携带的历史越多,后面的每一轮都比前面贵。具体倍数各家口径不同,去站内价格追踪页看当期规则,别自己猜。

对不上账时,按这个顺序排查

账单和预估差一截,别一上来就怀疑渠道坑你。按下面这个顺序走,多数问题在前两步就能定位。

  1. 查调用条数平台后台的成功请求数和你自己的日志条数对一下。差得多,先怀疑重试和超时重发,把重试日志翻出来数。
  2. 查 token 口径是不是把输入输出合并统计了,是不是漏了系统提示和工具描述这类固定开销。拿接口返回的 usage 逐条对。
  3. 查计价规则有没有阶梯价、缓存价、高峰价。这些规则写在官方 API 资料库里,对应厂商页面翻一遍。
  4. 最后查渠道前两步都排干净还对不上,再看中转渠道的倍率折算,去站内排名页对照各家的换算方式。

这个顺序的道理是先排除自己这边的问题。实际用下来,十条对不上的账里,大半是重试没记和 token 口径混了,跟渠道没关系。

这套算法什么时候不适用

按次计费或包月订阅的产品,token 只是额度折算单位,不能直接乘单价。你按 token 算出来的数,跟实际扣费根本不是一个体系,越算越糊涂。

  • 图像、语音、视频接口按张、按秒、按字符计费,混进 token 账里会得出离谱结论
  • 免费额度期间账单是零,但用量记录照样要留,不然转付费后没有基线可比
  • 按次计费的接口,关注调用次数和单次上限,别纠结 token 数
  • 包月套餐看的是额度池和超限规则,估成本不如估峰值
token 账算不准,多半不是价格表看错了,是你记的账和平台记的账不是同一本。
下一步先把你手上那条主用提示词丢进计算器跑一遍,拿到真实 token 数,再去价格追踪页核对当期计价规则,两边对齐了再谈优化。

常见问题

token数和字数大概是什么关系,能不能直接换算?

没有通用比例。中文一个字经常拆成一到两个token,英文一个词可能拆成更多,代码和符号更碎。想要准数就用站内 /tools/token-price-calculator 贴原文跑一遍,别凭经验乘系数,误差会累积到整月账单上。

为什么后台显示的用量比我日志里记的调用次数多?

常见三种原因:失败重试也计费、流式响应中断仍算已生成部分、工具调用和系统提示这类隐藏输入没被你记进去。先把这三项补进日志字段,再对一次账,多数差异就消失了。

多轮对话的成本是不是每轮都一样?

不是。每轮都要把之前的对话历史重新发一遍,轮次越多单次输入越大,总成本往上叠。想压住就在合适的位置做摘要或截断,把历史长度控制在一个固定上限,而不是无限往后堆。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。