很多人看到模型标着 128k、256k,第一反应是「那能塞多少字的中文」。直接乘个系数往往估偏,因为标称长度按 token 算,中文、英文、代码的 token 密度完全不同,标称值也未必是可用值。这篇只解决换算这一件事:先给你能心算的量级,再讲什么时候会估错,最后给一套自己动手核的口径。
很多人看到模型标着 128k、256k,第一反应是「那能塞多少字的中文」。这个直觉方向没错,但直接乘一个系数往往估偏。原因是标称长度按 token 算,而 token 不等于汉字,中文、英文、代码、表格的 token 密度差得很远,标称值也未必等于你实际能用的值。
这篇只解决换算这一件事:先给你能心算的量级,再讲什么时候会估错,最后给一套自己动手核的口径。它的用途是让你在选模型、切文档、拼长提示之前先有个大概判断,而不是拿来写配额文档。
先记一个能心算的量级
k 是千的单位,128k 指 128×1024 个 token 量级,256k 就是它的两倍。换算的第一步永远是先统一成 token,再折算汉字。中文常用口径是一个汉字约合 1~1.5 个 token,工程上取「1 汉字约等于 1 个 token、再留点余量」比反向取更稳,宁可估少一点。
| 标称长度 | 宽松口径下的汉字量级 | 能塞的东西(直觉参考) |
|---|---|---|
| 128k | 十万级汉字 | 几篇中等篇幅长文或一份中等规模文档集 |
| 256k | 二十万级汉字 | 一本书级别或一个小型资料库片段 |
| 再往上 | 按同比例外推 | 整份代码库、长会议记录汇总等 |
这张表只给你量级,具体数字别背。要报数字的时候,到 /tools/token-price-calculator 用你自己的文本跑一遍,那里的换算按实际 tokenizer 走,比心算准得多。这个量级适合「大概能塞几篇文档」的直觉判断,不适合写进合同或配额文档。
为什么你估出来总比标称少
估出来偏多,通常不是算错,是标称值和可用值之间有损耗。下面几条是最常见的吃额度的地方,先对号入座再动手算。
- 标称长度是输入加输出的总上限,模型要吐长回答时,可用输入得先扣掉预留的输出空间
- 系统提示、工具定义、历史对话都在吃同一份额度,聊得越久留给新材料的越少
- 中英混排、代码、表格、PDF 抽取文本的 token 密度差别很大,同一份字数在不同材料上占用能差出相当一截,密集标点和代码尤其吃亏
- 不同厂商的 tokenizer 不一样,同一个汉字在不同模型上算的 token 数可能不同,跨模型比字数前先看 /ai-dict/category/basics 的口径说明
所以,你算出来的「能塞多少字」应该是一个区间,而且是扣掉输出预留和系统提示之后的区间。谁给你一个精确到个位的数字,基本可以不用信。
自己核一遍:三步走
不用等别人给公式,拿你自己的材料跑一遍最靠谱。下面三步的顺序别调,先整理材料再测比值,最后才外推。
- 整理材料并统计汉字数把要喂的材料导出成纯文本,分别统计汉字数和中英混排里的英文词数。别只盯总字符数,字符数会把标点和空格也算进去。
- 抓代表性片段测 token别只拿开头,从材料中段和尾段各抓一段有代表性的原文,用站内换算工具跑出 token 数,算出这份材料的「字/token」比值。
- 外推并扣掉占用用这个比值外推整份材料,再减掉你打算预留的输出空间和系统提示占用,得到的才是实际能塞进去的量。结论落到区间,别报点值。
这套做法适合材料结构比较均匀的情况,比如清一色的中文正文。如果材料里中英代码混得很乱,就按类型分开测,再加权估算。
什么情况下这套换算不适用
换算有用,但边界很清楚。下面几类场景别套这套口径,套了反而误导决策。
- 图片、音频、视频这类多模态输入按自己的单位计费,不适用汉字换算法则
- 需要模型精确引用原文位置的场景,即使塞得下也不该贴着上限用,检索和分段更靠谱
- 计费和限额相关的问题别用估算法,价格与额度一律以 /official-api 和各厂商页面的当时数字为准
- 如果你的目的是选型而不是算字数,直接横向比各模型的标称长度和实际可用空间更有用
还有一个容易忽略的点:上下文长不等于效果好。材料塞到接近上限时,模型对中段内容的注意力往往下降,重要信息放两头、长材料做分段处理,通常比硬堆更稳。
下一步想按你自己的材料算准,用站内换算工具跑一遍;想横向比不同模型的标称长度和实际可用空间,到模型资料库按当时数据核对。→常见问题
128k 上下文到底能放多少字的中文?
按常见口径,一个汉字大致对应一个多一点的 token,所以 128k 量级粗算在十万级汉字的范围内;但这是把全部额度都给输入、且材料是纯中文散文的理想情况。实际要扣掉系统提示、历史对话和预留输出,安全值往七成左右估。具体数字拿自己的文本到站内换算工具跑一遍最靠得住。
为什么我按换算结果粘进去,模型还是说超了?
通常是三个原因叠加:一是标称长度含输出,你预留得不够;二是系统提示和工具定义先吃掉一块;三是你的材料里中英混排、代码或表格多,token 密度比纯中文高。建议先只发材料本身测一次,再逐步加上提示和历史,找出真正吃掉额度的那部分。
256k 是不是就等于 128k 的两倍字数?
长度上是两倍,能装的字数不是简单翻倍。因为两部分都要扣掉固定的系统开销和输出预留,实际可用输入往往超过两倍;但如果材料密度不同,观感又会反过来。另外标称长度大的模型未必单价一样,选之前到站内价格页核对当时的计费口径再决定。