很多人第一次看大模型的用量账单,会觉得和自己预估的差一截。不是算错了,是token这件事本身有几处容易想当然的地方:一次对话算了几份、重试的那次收不收钱、缓存省下的到底算在哪一栏。这篇不给结论数字,只给判断顺序和该去哪儿核对。
很多人第一次看大模型的用量账单,会觉得跟自己预估的差一截。不是算错了,是token这件事本身有几处容易想当然:一次对话到底算了几份、重试的那次收不收钱、缓存省下的到底落在哪一栏。这篇不摆结论数字,只给一套判断顺序和自查动作,账单对不上时照着走一遍。
先说清楚一个前提:各家的计费口径不完全一样,站内页面上写的是当期规则,服务商后台才是最终依据。所以下面讲的是「怎么判断」,不是「一定收多少」。碰到两边不一致,以账单为准,把差异记下来,别按经验硬推。
先搞清一次对话到底算了几份token
最常见的误判,是拿总字数乘一个单价。实际用下来,输入和输出是分开计价的,价格往往还差不少;你看到的「总token」只是方便人看,背后是两笔账。争议多半出在这里,尤其输出侧字符多的时候。
还有一种更隐蔽:多轮对话里,历史消息会随着每次请求重新带上。聊到第十轮,前面九轮的内容都还挂在这个请求里,输入侧的重复量会越滚越大。所以同一段对话越聊越贵,不是模型变懒了,是每次都在重复喂上下文。
- 系统提示词、工具定义、检索回来的资料,都算输入,肉眼看不见但计费
- 多轮对话的历史消息会随请求重复带上,轮次越多,输入侧重复量越大
- 流式输出中途断开,已经生成的部分通常照算,不是没拿到完整结果就不收钱
- 核对口径:到 /ai-dict/category/basics 先把输入、输出、缓存这几个词的定义对上
缓存省的钱不在你想的那一栏
缓存命中确实便宜,但前提是真命中了。写缓存本身也可能单独计价,别只盯着命中价那一栏看,不然会觉得「明明开了缓存怎么没省」。更麻烦的是失效:前半段提示词改了哪怕一个词,后面整段都可能重新算,改动位置放在开头还是结尾,结果差很多。
判断办法很土但管用:同一段长提示词连发两次,对比两次账单里输入侧的数字变化。第一次通常是写缓存,第二次才有机会命中。两次数字差多少、落在哪一栏,比看文档描述更直观。
失败、重试、被限速,这些也算账
请求超时后重发,前一次可能已经计费了,尤其流式输出中途断开的情况——服务端已经生成了一部分,这部分很难退回来。被限速挡回来那次一般不计费,但重试成功的那次照收,账上就会多出一笔。你要是不记录,事后根本分不清这笔是正常调用还是重试。
做法不复杂:在调用层把请求ID和状态记下来,重试单独打标。字段至少要有时间、模型、输入输出token数、是否重试、返回状态。有了这份日志,对账时能直接抽一条样本,把请求内容、token数、计费结果三者对上。
但也有不适用的情况:如果服务商明确说明失败请求不扣费,那就以账单实际为准,别拿「重试都收钱」的经验去套。口径这东西,各渠道不一样。
账单对不上时,按这个顺序查
别一上来就怀疑单价算错了,先把顺序走对,能省很多来回。下面这张表是排查顺序和对应的动作,照着一条条过就行。
| 顺序 | 查什么 | 动作 |
|---|---|---|
| 第一步 | 总量对不对 | 先拆输入和输出看总量,再谈单价 |
| 第二步 | 有没有隐藏栏 | 看缓存栏、倍率栏,中转渠道先对齐倍率口径 |
| 第三步 | 抽单次请求 | 把请求内容、token数、计费结果对上一条 |
| 长期 | 留用量日志 | 时间、模型、输入输出token、是否重试,缺一不可 |
第三步最容易漏。抽样的时候别挑最便宜的请求,挑一条输入长、又是多轮的,这种最能暴露重复计费的问题。对上一条,基本就能判断差异出在输入侧还是输出侧。
- 先看总量把账单总量拆成输入和输出两栏,跟自己的日志加总比,看差异落在哪一侧。
- 再看隐藏栏缓存命中、缓存写入、渠道倍率这些栏位单独看,中转渠道尤其要先确认倍率口径跟你理解的一致。
- 抽样对一条挑一条长输入的请求,把原始请求、token数、扣费结果三者对上,能定位问题出在哪。
- 长期留日志调用层固定记录时间、模型、输入输出token、是否重试,字段别省,省了以后还得补。
账单对不上,九成不是算错了,是两边量的不是同一个东西。
常见问题
为什么我数了字数,算出来的token和账单差很多?
字数和token不是一对一。中文、英文、符号、换行的切分规则不一样,代码和标点尤其吃亏。真想核对,用工具把同一段文本跑一遍token数,再和账单上的数字比,别用字数乘系数。
缓存开了是不是一定省钱?
不一定。命中才省,没命中可能还多一层写入成本。得看你的提示词有没有稳定的长前缀,以及调用间隔是不是在缓存有效期内。改动频繁、每次内容都不同的场景,缓存收益有限。
重试几次会不会重复扣费?
要看失败发生在哪一步。请求根本没发出去、被限速挡回,一般不计;已经生成了一部分再断开,前一次很可能算进去了。稳妥做法是给重试单独打标,月底对账时能一眼看出多出来的量在哪。