Token 计数器

LOCAL TOKEN COUNTER本地分词估算

把提示词、对话记录或文档片段粘进来,按主流分词器口径估算 token 数与上下文占用;全部计算在浏览器本地完成,文本不上传、不保存。

纯本地估算中英混排多家族口径不联网
INPUT

粘贴要计数的文本

支持中英混排、代码与 JSON;换行与空格都会计入。

等待输入。
ESTIMATE

估算结果

以当前选择的模型家族口径计算,估算区间按 ±12% 给出。

估算 TOKEN0尚无输入
字符数0含空格与换行
汉字占比0%中英混排时看这一项
英文词数0按连续字母切分
家族估算 token与当前口径说明
CONTEXT

上下文占用

看这段内容塞进模型后还剩多少空间。

填入文本后显示占用比例。

占用 = (输入 token + 预留输出)÷ 上下文窗口;超过 100% 时请求会被上游直接拒绝或截断。

ACCURACY

这个估算有多准

页面的分词器是无依赖的启发式实现(按汉字、字母串、数字串、符号与空白分别累计),与厂商真实 tokenizer 的偏差通常在 ±12% 以内,中英混排的代码与 JSON 偏差略大。要精确到个位,请用上游返回的 usage 字段,或本地跑 tiktoken / transformers 对同一段文本计数。本页适合快速判断「这段 prompt 大概多大、会不会超上下文、按 token 计费大概多少钱」。

HOW IT WORKS

怎么用这个计数器

  1. 粘贴文本把 system prompt、历史对话或待总结的文档片段放进左侧输入框,也可以点「导入文本文件」读入 txt / md。
  2. 选家族在「按哪个家族的 tokenizer 换算」里选你实际要调用的模型家族,结果与对照表会立刻更新。
  3. 看构成右侧给出估算 token、字符数、汉字占比与英文词数,下方对照表列出同一段文本在六个家族的差异。
  4. 算占用在「上下文占用」里选窗口大小并填输出预留,页面给出占用比例与还能再放几份同样长度的内容。
FAQ

Token 计数常见问题

这个估算准吗?和 API 返回的 usage 差多少?

页面用的是按字符类别累计的启发式口径,与厂商真实 tokenizer 的偏差通常在 ±12% 以内;中英混排、大量 JSON 或代码时偏差会更大。要精确到个位,请用上游返回的 usage 字段,或本地跑 tiktoken / transformers 对同一段文本计数。

为什么不同家族的 token 数不一样?

每个厂商的词表与合并规则不同:中文优化过的词表(Qwen、Gemini、DeepSeek)切一个汉字更省 token,而 cl100k 这类以英文为主的词表在中文上大约 1 字 1 token。同一段中文提示词,在不同模型上计费可能差三成以上。

中文大概多少字等于一个 token?

粗算口径:英文约 4 个字符 1 个 token,中文在 cl100k 上接近 1 字 1 token、在 o200k 与国产词表上约 0.6–0.7 token / 字。本页把汉字、字母串、数字串、符号分开统计,就是为了避免「按字数除以 4」在中文上严重低估。

算出来的 token 数和账单对不上?

常见原因:请求里还有系统提示词、工具定义与历史消息没算进去;上游对图片、文件按额外规则计费;以及缓存命中部分单价不同。做成本估算时建议把完整请求体(含 system 与 tools)整段贴进来算。

文本会被上传吗?

不会。分词与统计全部由浏览器里的 JavaScript 完成,不调用本站接口、不写 Cookie 与本地存储,关闭页面后输入内容即从内存释放。

支持图片、PDF 的 token 估算吗?

不支持。本页只统计纯文本;图片与 PDF 的计费由各厂商按分辨率、页数折算(例如视觉输入常按 512×512 的图像块计数),口径差异大,请以对应厂商文档为准。

RELATED

Token 数按各模型家族的分词口径估算,不同模型的换算比例略有差异;输入文本只在浏览器本地处理。