大模型token注意事项:账单对不上,多半是这几处口径没对齐

成本与用量

把大模型token最容易出错的几处口径讲清楚:输入输出分开算、缓存另计价、重试也计费,附一套自查顺序。

很多人第一次看大模型的用量账单,会觉得和自己预估的差一截。不是算错了,是token这件事本身有几处容易想当然的地方:一次对话算了几份、重试的那次收不收钱、缓存省下的到底算在哪一栏。这篇不给结论数字,只给判断顺序和该去哪儿核对。

很多人第一次看大模型的用量账单,会觉得跟自己预估的差一截。不是算错了,是token这件事本身有几处容易想当然:一次对话到底算了几份、重试的那次收不收钱、缓存省下的到底落在哪一栏。这篇不摆结论数字,只给一套判断顺序和自查动作,账单对不上时照着走一遍。

先说清楚一个前提:各家的计费口径不完全一样,站内页面上写的是当期规则,服务商后台才是最终依据。所以下面讲的是「怎么判断」,不是「一定收多少」。碰到两边不一致,以账单为准,把差异记下来,别按经验硬推。

先搞清一次对话到底算了几份token

最常见的误判,是拿总字数乘一个单价。实际用下来,输入和输出是分开计价的,价格往往还差不少;你看到的「总token」只是方便人看,背后是两笔账。争议多半出在这里,尤其输出侧字符多的时候。

还有一种更隐蔽:多轮对话里,历史消息会随着每次请求重新带上。聊到第十轮,前面九轮的内容都还挂在这个请求里,输入侧的重复量会越滚越大。所以同一段对话越聊越贵,不是模型变懒了,是每次都在重复喂上下文。

  • 系统提示词、工具定义、检索回来的资料,都算输入,肉眼看不见但计费
  • 多轮对话的历史消息会随请求重复带上,轮次越多,输入侧重复量越大
  • 流式输出中途断开,已经生成的部分通常照算,不是没拿到完整结果就不收钱
  • 核对口径:到 /ai-dict/category/basics 先把输入、输出、缓存这几个词的定义对上

缓存省的钱不在你想的那一栏

缓存命中确实便宜,但前提是真命中了。写缓存本身也可能单独计价,别只盯着命中价那一栏看,不然会觉得「明明开了缓存怎么没省」。更麻烦的是失效:前半段提示词改了哪怕一个词,后面整段都可能重新算,改动位置放在开头还是结尾,结果差很多。

判断办法很土但管用:同一段长提示词连发两次,对比两次账单里输入侧的数字变化。第一次通常是写缓存,第二次才有机会命中。两次数字差多少、落在哪一栏,比看文档描述更直观。

失败、重试、被限速,这些也算账

请求超时后重发,前一次可能已经计费了,尤其流式输出中途断开的情况——服务端已经生成了一部分,这部分很难退回来。被限速挡回来那次一般不计费,但重试成功的那次照收,账上就会多出一笔。你要是不记录,事后根本分不清这笔是正常调用还是重试。

做法不复杂:在调用层把请求ID和状态记下来,重试单独打标。字段至少要有时间、模型、输入输出token数、是否重试、返回状态。有了这份日志,对账时能直接抽一条样本,把请求内容、token数、计费结果三者对上。

但也有不适用的情况:如果服务商明确说明失败请求不扣费,那就以账单实际为准,别拿「重试都收钱」的经验去套。口径这东西,各渠道不一样。

账单对不上时,按这个顺序查

别一上来就怀疑单价算错了,先把顺序走对,能省很多来回。下面这张表是排查顺序和对应的动作,照着一条条过就行。

顺序查什么动作
第一步总量对不对先拆输入和输出看总量,再谈单价
第二步有没有隐藏栏看缓存栏、倍率栏,中转渠道先对齐倍率口径
第三步抽单次请求把请求内容、token数、计费结果对上一条
长期留用量日志时间、模型、输入输出token、是否重试,缺一不可

第三步最容易漏。抽样的时候别挑最便宜的请求,挑一条输入长、又是多轮的,这种最能暴露重复计费的问题。对上一条,基本就能判断差异出在输入侧还是输出侧。

  1. 先看总量把账单总量拆成输入和输出两栏,跟自己的日志加总比,看差异落在哪一侧。
  2. 再看隐藏栏缓存命中、缓存写入、渠道倍率这些栏位单独看,中转渠道尤其要先确认倍率口径跟你理解的一致。
  3. 抽样对一条挑一条长输入的请求,把原始请求、token数、扣费结果三者对上,能定位问题出在哪。
  4. 长期留日志调用层固定记录时间、模型、输入输出token、是否重试,字段别省,省了以后还得补。
账单对不上,九成不是算错了,是两边量的不是同一个东西。

常见问题

为什么我数了字数,算出来的token和账单差很多?

字数和token不是一对一。中文、英文、符号、换行的切分规则不一样,代码和标点尤其吃亏。真想核对,用工具把同一段文本跑一遍token数,再和账单上的数字比,别用字数乘系数。

缓存开了是不是一定省钱?

不一定。命中才省,没命中可能还多一层写入成本。得看你的提示词有没有稳定的长前缀,以及调用间隔是不是在缓存有效期内。改动频繁、每次内容都不同的场景,缓存收益有限。

重试几次会不会重复扣费?

要看失败发生在哪一步。请求根本没发出去、被限速挡回,一般不计;已经生成了一部分再断开,前一次很可能算进去了。稳妥做法是给重试单独打标,月底对账时能一眼看出多出来的量在哪。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。