很多人跑完一轮任务,觉得 token 用得莫名其妙:明明写的提示词不长,账单却比预想的高一截。问题往往不在模型贵不贵,而在你把哪几种 token 混着看了。这篇不列数字,只讲口径:哪些地方会多算、怎么在自己的用量日志里核对、什么情况下这套判断不适用,让你对着自己的账本能一条条排掉。
跑完一轮任务回头看用量,发现 token 数比脑子里估的高出一截,这种事太常见了。多数时候不是模型偷偷涨价,也不是平台在坑你,而是你在拿几种不同口径的数字互相比。有人看的是请求返回里的总数,有人看的是账单上的计费量,还有人把缓存命中的部分也当成普通输入算了一遍。三个数各有各的算法,硬凑到一起自然对不上。
这篇不给你列任何具体数字,数字会变,口径不太会变。你要做的是搞清楚自己这笔账到底卡在哪一处,然后按顺序排掉。下面按输入输出拆分、历史重复计、缓存命中、长上下文档位这几个角度讲,每一节都给出能直接上手的核对动作。最后有排查顺序和不适用的场景,别急着从头套到尾。
先把输入和输出当成两笔账看
输入和输出的计价方式通常不一样,这是最容易被忽略的一刀。你写了一大段提示词,模型只回了两句话,感觉上「没怎么用」,但输入那部分照样要计钱。把两者加成一个总数再去看成本,误差就从这里开始了。
实际用下来,接口返回里一般会分开给 prompt_tokens 和 completion_tokens 两个字段。很多人图省事只记总和,出了问题根本分不清是提示词太长还是模型话太多。建议第一天就把这两个数分别落到日志里,哪怕只是打印出来存成一行文本。
- 确认你读的是接口返回的原始字段,不是自己二次汇总后的数字;
- 输入和输出分开统计,各自算各自的账,别合并成一个总量;
- 如果用了包月或订阅额度,这条换算关系不成立,别硬套按量计费的逻辑;
- 对输出长度敏感的任务,可以顺手记一下平均输出长度,异常拉长往往意味着提示词没约束住格式。
多轮对话里被重复计的那部分
这是「token 悄悄变多」最常见的来源。多轮对话里,每一轮你发出去的不只是新那句话,前面所有历史消息都会被重新拼进上下文当成输入。聊到第十轮,输入量早就不是第一轮那个数了。这不是平台多收,是调用方式本身决定的。
判断方法很简单:看同一会话里第一轮和后面几轮的输入量。如果日志里显示的输入量几乎没变,那多半是你的统计方式漏了历史拼接这一层,你看到的只是新消息的长度。反过来,如果输入量随轮次稳步上涨,说明记录是对的,接下来该管的是裁剪策略。
- 确认历史拼接有没有被算进去拿一个已知长度的多轮会话跑一遍,对比接口返回的输入量和你自己数的新消息长度,差额就是历史部分。
- 把裁剪策略写进配置明确保留几轮、超过多少条就摘要或丢弃,别让它默认无限增长。
- 前后各跑一轮做对比改配置前后各记录一次输入量,看变化是否符合预期,不符合就回去查拼接逻辑。
单次无状态调用、每次都是全新请求的批处理任务,这条不适用。那种场景下每轮输入互不相干,不存在重复计的问题,别在这上面浪费时间。
缓存命中没命中,账能差一截
缓存这件事麻烦在,命中和没命中的部分经常混在同一张账单里,你看到的是一个总数,看不出里面有多少是打了折的、多少是全价的。重复前缀多的任务,比如同一段系统提示词反复用,命中率本来应该偏高;如果偏低,先别怀疑平台,去看看你的提示词是不是每轮都被改动了,哪怕改了一个字,前缀对不上,缓存就失效。
| 现象 | 大概率原因 | 先查什么 |
|---|---|---|
| 重复任务账单偏高 | 前缀每轮变动,缓存没命中 | 提示词里有没有时间戳、随机数、动态拼接的内容 |
| 命中率忽高忽低 | 并发或请求顺序打乱了前缀一致性 | 同一批请求的提示词开头是否完全一致 |
| 日志里没有缓存字段 | 统计口径没留这一列 | 先在日志里单独加一列记录命中 token 数 |
做法上,日志里单独留一列记缓存命中的 token 数,别和普通输入合并成一列。合并之后你永远不知道省没省到。对一次性、前缀各不相同的调用,命中率天然就低,别硬追,那种场景下追命中率是白费力气。
上下文一长,单价口径可能换档
不少平台对超长上下文会按不同档位计价,同样一段文本放进去,价格未必是线性的。你按短文本的单价去乘长文本的长度,算出来的数当然对不上。这不是算错,是档位换了。
判断办法:把「输入长度」和「每轮实际花费」做个简单对照,看是不是在某个长度附近突然跳了一档。跳档的位置就是你要注意的边界。具体档位和单价,到站内的价格页面核对当时的数字,别凭记忆。
- 长文档任务优先分块、先摘要再送模型,比一次全塞进去可控;
- 如果任务要求全文一起看,比如跨段引用、全局一致性,分块反而伤效果,这时候多花的钱是必要的;
- 记录每次调用的输入长度,和花费放在同一张表里,跳档点一眼能看出来;
- 别拿短任务的单价去估长任务,估出来只会吓自己或者骗自己。
用量日志该留哪几个字段
排查靠日志,日志字段不全,后面全是猜。最少要留这几个:请求时间、模型名、输入 token、输出 token、缓存命中 token、是否重试。少一个,对应那类问题就没法定位。
重试要单独标记,这一点很多人漏。失败重发的调用如果被算进正常用量,账面上就像凭空多出来一截,你找半天找不到源头,其实是一次超时重发。字段凑不齐的时候,先补最影响判断的那两个,别一上来就做全套,做完发现根本用不上。
做法建议:先跑一天小额真实任务,拿日志和平台账单对一遍。缺口出现在哪一列,问题就在哪一列。这个动作比看十篇教程都管用,因为它对着的是你自己的用量。
账单对不上时的排查顺序
对不上账别一上来就怀疑单价,多数情况前三步就能定位,直接跳到比单价容易白折腾。按下面这个顺序走,一层一层排。
- 确认比的是不是同一口径单价页上的数字是否含缓存、是否区分输入输出,先对齐口径再比。
- 对齐时间窗口跨天的调用会被算进不同账期,时间窗口错位造成的差额最常见。
- 查重试和失败请求失败重发是否被计费,单独看这一类请求的量。
- 最后才看单价前三步都排干净了还差,再去站内价格页核对当时的单价和档位。
这个顺序的逻辑是先排除统计错误,再排除计费规则误解,最后才怀疑价格本身。价格变动频率远低于统计口径出错的频率,顺序反了就是浪费时间。
哪些情况下这套思路帮不上忙
用订阅制额度而不是按量计费的时候,token 账和实际扣费不是一一对应,你按 token 细抠半天,扣的可能是额度次数,这套换算不成立。走中转站的时候,倍率和结算口径由中间层决定,得先看中转站自己的说明,再决定要不要按 token 核对。
所以第一步永远是分清你付的是哪本账:是按量接口、订阅额度,还是中转站结算。账本不同,后面所有动作都不同。分不清就先别动手,去站内把对应页面的口径看清楚。
下一步把你现在用的这条线路的计价口径和档位核对一遍,再回头对自己的用量日志,能省掉大部分无效排查。→常见问题
为什么我算出来的 token 和平台显示的不一样?
先确认你算的是输入还是输入加输出,两者单价不同不能直接相加;再看多轮对话里历史上下文有没有被重复计入。把这两点对齐后,大部分差异就解释得通了,剩下的再看缓存和重试。
长提示词一定会更贵吗?
通常更贵,因为输入 token 变多,但要看平台有没有分档计价、有没有命中缓存。如果是同一段系统提示词反复用,命中缓存后实际花费可能比你想的低不少。具体数字去站内的模型成本计算器按当期单价算一遍更准。
缓存命中率低是不是我的用法有问题?
不一定。前缀每次都变、任务本身一次性,命中率低是正常的。只有在你反复用同一段提示词、却仍然几乎不命中时,才值得去查是不是中间改动了前缀或参数。
重试会不会被重复计费?
很多平台对失败或超时的请求是否计费口径不同,得看具体说明。稳妥做法是在日志里单独标记重试,跑几天就能看出重试在总用量里占多少,占比高就该去查网络和超时设置。
这套判断对走中转站的调用也适用吗?
部分适用。token 层面的拆分逻辑一样,但最终扣费还要乘上中转站的倍率,结算口径由对方定。先看清中转站的计费说明,再用上面的顺序排查,别直接用官方单价去套。