大模型token有哪些,先排除不合适的再挑

成本与用量

把大模型token按输入、输出、缓存、推理、多模态几类拆开,给出判断标准和挑选顺序,帮你在接入前分清哪些token真的要花钱。

打开计费页,一堆token名词排在那:输入、输出、缓存写、缓存读、推理、图片、音频。不知道哪些跟你有关,就很容易按错的那一行估预算,月底对不上账。这篇不背名词表,先讲怎么快速排除掉你用不到的类别,再给一份从任务形态倒推的挑选顺序,最后列几个第一次接入常踩的坑。

打开计费页,一堆token名词排在那:输入、输出、缓存写、缓存读、推理、图片、音频。不知道哪些跟你有关,就很容易按错的那一行估预算,月底对不上账。这篇不背名词表,先讲怎么快速排除掉你用不到的类别,再给一份从任务形态倒推的挑选顺序。

先说清楚一件事:所谓「大模型token有哪些」,答案取决于你看的是哪家的计费页。不同厂商的分类颗粒度不一样,有家把缓存拆成写和读两行,有家干脆合成一项。所以别去找一份通用名表,要找的是「我这个请求会落在哪几行」。

先分清:你花的钱落在哪几种token上

按计费入口拆,常见就五类:输入、输出、缓存写、缓存读、特殊模态。前两类几乎所有接口都有,后三类看场景。判断标准很简单——你的请求里有没有长固定前缀、有没有多模态附件、有没有让模型先思考再答。三个都没有,后三类基本可以不管。

类别什么情况下会计费要不要关注
输入token每次请求发出去的提示词、上下文、历史消息几乎都要
输出token模型生成的内容几乎都要
缓存写/缓存读提示词里有稳定不变的长前缀,被复用有固定系统提示词才看
推理token让模型先思考再回答、开了推理档位不开就不看
多模态token图片、音频、视频当作输入或输出纯文本任务直接跳过

这张表的用法是排除,不是背诵。先看你的请求长什么样,再回来对一行。对不上的行,估算的时候直接划掉,省得被一个跟你无关的单价带偏。

排除法:三类token跟你没关系就先划掉

先做减法。没有稳定前缀的场景——每次请求的提示词都不同、系统提示词每回改——缓存类token的命中率接近零,估了也是白估。这类任务里你盯输入和输出两行就够了。

没有图片、音频、视频输入输出,多模态那几行直接不看。这条最容易被忽略:有人看计费页上有图像单价,就顺手拿去算预算,结果自己的服务根本传不了图。

  • 每次请求提示词都不一样:缓存写、缓存读划掉
  • 纯文字问答、不传附件:图像、音频、视频划掉
  • 不让模型输出思考过程、没开推理档位:推理token划掉
  • 单轮调用、没有多轮历史:只需要算一次输入加一次输出

从任务形态倒推该盯哪一行

排除完,剩下的行怎么分配注意力?别按单价高低排,按你的请求结构排。长文档问答和客服知识库,输入往往比输出大一个量级,重点看输入和缓存命中;代码补全、文案生成反过来,输出占大头,按输出单价估算更接近真实账单。

多轮对话和Agent循环是个例外。每轮都把历史重发一遍,输入会随轮次线性涨,得按会话总长算而不是按单条算。这里最容易犯的错是拿单次请求的用量乘调用次数,实际账单会明显偏高。

长文档问答
盯输入token和缓存命中,输入是大头
代码补全/文案生成
盯输出token,按输出单价估更准
多轮对话/Agent
按会话总长算,历史每轮重发
带图任务
盯多模态token,按分辨率折算不是按张数

接入前按这个顺序核对一遍

  1. 看计费单位定义翻接口文档,确认它按字符、按字节还是按token切分,不同厂商切法不一样,直接套别家的经验会偏
  2. 跑一条真实请求拿你线上最典型的一条请求实跑一次,去用量页对输入输出各是多少,别用字数估算代替
  3. 代进单价算单次成本把实测用量乘上你选的那档单价,得到单次成本,再乘预估调用量。单价到站内价格页核对当时的数字
  4. 一周后回看用量隔一周翻一次用量记录,看有没有意外增长的那一类,尤其是输入和多模态

这四步里第二步最关键。估算值和使用量页上的实际数字经常差一截,差的往往不是单价,是你对请求结构的想象。实际跑一次,很多争论就没了。

第一次接入最容易错的三处

第一个坑:把系统提示词当成不计费的固定开销。它每一轮都在重发,都在计输入。系统提示词写得越长,多轮场景下这笔账越明显,要么精简,要么靠缓存摊薄。

第二个坑:以为输出token等于字数。中英文和代码的切分比例不一样,按字数估会偏,代码尤其容易低估。第三个坑:把图片按张数估。实际是按分辨率或像素折算成token,尺寸调大一档成本就上一个台阶。

这三处都不是概念问题,是动作问题——提示词放在哪一格、用量页看哪一行、图片参数设多大。接入前挨个对一遍,比事后对着账单反推省事。

下一步各家厂商的计费分类和单价差异不小,选型前到价格追踪页对照当时的数字,再用实测请求验证一遍

常见问题

输入token和输出token为什么要分开算?

因为两者的单价通常不一样,输出往往更贵。你按一个平均价去乘总token数,结果就会在输出占比高的任务上偏低。先看接口文档里两个单价分别是多少,再按你的实际输入输出比例加权,才接近真实账单。

缓存token算不算在总用量里?

算,但计价方式不同。缓存写和缓存读各有自己的单价,通常比普通输入便宜。如果你的请求有稳定的长前缀,这部分能省下不少;如果每次提示词都变,缓存基本不会命中,估预算时可以按普通输入算。

多模态的token怎么估?

图像一般按分辨率折算成token,音频按秒或按分钟折算,各家口径不一样。别用张数或分钟数直接乘一个拍脑袋的数,去站内模型库和官方价格页看当期口径,再用一条真实素材跑一次对账最稳。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。