搜「大模型token选择标准」的人,多半已经在做选型,却发现自己比的是不同口径的数字。有的报价只算输入,有的把缓存读写成另一个价;有的按百万token标,有的按千token标。这篇不给结论,给一套筛法:先对齐口径,再看任务形状,最后决定哪一个够用。
第一步不是比价格,是把口径摊平
拿到一份报价,第一反应往往是看那个最大的数字,然后判断贵不贵。问题在于,大模型的 token 计价从来不是一个数字,是一组数字。同一份报价单里,输入价、输出价、缓存写入价、缓存读取价是四个独立的项,少列一项,后面的比较就全歪了。输出通常比输入贵,这个差距在各家之间还不一样;缓存读便宜得多,但前提是你的请求真的命中了缓存。只拿输入价去比,等于用半张账单算总账。
还有个更隐蔽的坑:单位。有的页面按每百万 token 标,有的按每千 token 标,数字看起来差了一千倍,其实可能是一个价。看到「每千」两个字先别下结论,换算成同一口径再放进表格。我建议统一换算成「每百万 token」,因为大多数官方页面的默认单位是这个,换算一次之后对照起来最省事。
| 报价项 | 要确认的内容 | 容易漏掉的地方 |
|---|---|---|
| 输入价 | 每单位 token 多少钱 | 是否区分缓存命中与未命中 |
| 输出价 | 每单位 token 多少钱 | 是否按生成阶段单独计费 |
| 缓存写入 | 写缓存是否收费、按什么价 | 有的产品不收,有的收但打折 |
| 缓存读取 | 命中缓存后的折扣价 | 命中条件和你自己的请求结构是否匹配 |
表格填完之后,别急着算总价,先看最低计费粒度和取整规则。很多接口不是按实际 token 数精确计费,而是有一个最小计费单位,比如按次、按段、按某个固定长度向上取整。短请求一多,这部分损耗占比会明显变大:你发一句十几个字的话,系统可能按一个更大的粒度扣费。同样的单价,短请求密集的场景和长文档处理的场景,实际支出结构完全不同。所以比价之前先问自己:我的请求是长是短,是集中还是零散。
- 去官方页面对原价到 /official-api 找到对应模型的官方价格页,把输入、输出、缓存写、缓存读四项抄下来,别只看首页那个宣传数字。
- 统一换算单位用 /tools/token-price-calculator 把每千 token 的报价换算成每百万 token,或者反过来,全部对齐到同一口径。
- 补上计费粒度确认最小计费单位和取整方式,按你自己的请求长度估一下这部分损耗,短请求多的场景尤其要算。
- 再谈贵不贵四项列全、单位统一、粒度补上之后,再拿你自己的实际用量结构去套,这时候得出的贵或便宜才有意义。
任务形状决定选谁,不决定谁最便宜
先说个常见的糊塗账:有人拿同一套模型跑摘要,跑得挺顺,就顺手拿它去写长文、生成代码,结果月底一看账单懵了。不是模型变差了,是任务形状变了。同样是「一次调用」,摘要吃进去一大段原文、吐出来两三行结论;写作反过来,进来一句需求、出去上千字。这两笔账的计费重心根本不在同一个位置。
| 任务类型 | 输入侧 | 输出侧 | 选型时先看什么 |
|---|---|---|---|
| 摘要、抽取、分类 | 长,往往是几倍于产出 | 短,通常就几句话 | 输入单价和上下文上限 |
| 写作、扩写、生成代码 | 短,一句需求或几行上下文 | 长,成段成篇 | 输出单价和生成稳定性 |
| 多轮对话 | 每轮都在重发历史,越聊越长 | 每轮不长但轮次多 | 历史累积后的输入总成本 |
| 批量离线处理 | 看单条大小和条数 | 看产出长度 | 吞吐和限流,不必死磕延迟 |
| 实时交互 | 看单次请求大小 | 看首字和整段时长 | 延迟基线,价格排后面 |
多轮对话是最容易被低估的一类。你以为在按「问一句答一句」付费,实际上每次请求都把前面整段历史重新塞回输入侧。聊得越久,输入侧越长,单价差被放大得越明显。两个模型单价比起来差不多,聊到第十轮、第二十轮,账面上的差距可能就很可观了。所以做对话类产品,评估模型时得按「典型会话长度」去算,而不是拿一条干净的单轮请求来比。
- 先给任务归形把要做的事写成一句话:进来多少、出去多少、单次还是多轮。归不进任何一类的,拆成两段分别算。
- 再估一次真实请求别用示例里最短的那条。翻出线上最典型的输入输出长度,按那个量级去算这笔账。
- 实时任务先量延迟交互类产品先去 /tools/speed-test 跑一遍,拿到首字和整段的基线,再回头看价格。
- 最后加一道返工成本把格式错误、需要重跑或人工修正的概率折算进去,便宜档未必真便宜。
这里得补一条反例,不然容易走偏:如果任务对格式准确率要求极高——比如结构化抽取后直接入库、生成结果要喂给下游程序解析——那便宜档省下的那点差额,很可能被返工吃掉。格式错一次,人工核对、重跑、修数据,成本翻上去。这种场景下选型的天平应该往「一次就对」那边压,而不是往单价低那边压。反过来,如果是给人看的草稿、能容忍小瑕疵的中间产物,便宜档就完全够用。
缓存和上下文长度,是标准里最容易被漏的两项
很多人比价只盯着输入输出两个单价,结果账单出来对不上。差的那部分,八成藏在缓存和长上下文这两个计费项里。它们不像基础单价那样摆在明面上,但用不对,省下来的那点差价全能吐回去。
先说缓存。带缓存计价的模型,命中条件各家不一样:有的要求请求前缀完全一致才命中,你把系统提示词写死放最前面、变量往后放,就能吃到缓存;有的对任意重复片段都认,那提示词怎么排影响就小很多。这个差别直接决定你要不要为了省钱去改提示词的结构——前缀命中型的,改不改排列是省钱和不省钱的分别;任意片段型的,改造收益没那么大,别白折腾。具体哪家是哪种,去 /ai-dict/category/basics 对照术语定义,别凭印象猜。
- 构造一段真实请求用你线上真在跑的那类提示词,别拿玩具例子,长度和结构都要接近实际。
- 原样跑两次同一段请求连续发两遍,第二遍才可能命中缓存,只跑一次看不出缓存读写的占比。
- 翻账单看两项重点看缓存读和缓存写各占多少。写入多、读取少,说明前缀没稳定下来,或者重复度根本不够。
- 再决定改不改读取占比高,就值得把固定内容前移;两项都接近零,说明这套模型对你的场景没缓存红利,别为它改结构。
上下文长度这块,常见的误判是「窗口大就塞满」。实际用下来,把整份文档、整段历史一次性灌进去,响应会变慢,账单也可能跳档。能靠切分、摘要、只传相关片段解决的,就别开满窗口。这条不适用于确实需要跨长文做整体推理的场景——那种情况下切分反而丢信息,该用长上下文就用,但要清楚这是拿钱和延迟换的。
还有个口径细节容易被忽略:缓存读、缓存写、普通输入、输出,这几项在不同平台的命名和归类不完全一样,你看账单时对不上号,往往不是算错了,是叫法不同。碰上对不上的项,先去术语页核一遍再下结论,别自己脑补一个换算规则。
常见问题
大模型token选择标准,是不是看单价最低就行?
不行。单价只是四项计价里的一项,输入、输出、缓存读写的价格比例各家不同。任务是长输入短输出时,输入价权重高;反过来输出价权重高。先算清自己任务的比例,再比单价才有意义。
同一个模型,为什么我算出来的成本和账单差很多?
常见原因是没算重发的历史消息、没区分缓存命中和未命中、或者把预扣当成了结算。拿一天的用量日志逐条对一遍,差在哪一项会立刻显出来,不用靠猜。
上下文窗口大的模型是不是更值得选?
不一定。窗口大解决的是能不能塞进去,不解决贵不贵和准不准。很多任务切分成几段处理反而更省也更稳。只有当任务确实需要跨段引用完整上下文时,大窗口才是刚需。