type-token ratio是什么

你大概遇到过这种情况：想判断一段文字是不是车轱辘话，或者想知道自己写的提示词有没有反复出现同一个词，却不知道用什么指标。类符形符比就是干这个的——它衡量一段文本里「不重复的词」占「所有词」的比例。这篇不堆公式，只讲清它算什么、算出来偏高偏低说明什么、什么时候这个指标会骗你，以及拿它在提示词和文本处理里做自检的具体步骤。

你大概遇到过这种情况：想判断一段文字是不是车轱辘话，或者想知道自己写的提示词有没有反复出现同一个词，却不知道用什么指标。类符形符比就是干这个的——它衡量一段文本里「不重复的词」占「所有词」的比例。这篇不堆公式，只讲清它算什么、算出来偏高偏低说明什么、什么时候这个指标会骗你，以及拿它在提示词和文本处理里做自检的具体步骤。

它常被简写成 TTR。名字里的两个词，看着像技术黑话，其实拆开就是「不同的词」和「出现过的词」。理解这一层，后面所有判断都顺了。至于各家模型在中文、英文上的实际分词表现，可以到 模型资料库 配合看，不同厂商的切分口径本来就不一样。

它到底在数什么

形符（token）

文本里出现的每一个词，同一个词出现两次就算两个，也就是「按次数数」。

类符（type）

去重之后剩下的不同词，出现多次只算一个，也就是「按种类数」。

类符形符比

类符数除以形符数，结果落在 0 到 1 之间。

比值越接近 1，说明用词越不重复；越接近 0，说明翻来覆去就那几个词。但要注意：它衡量的是「词汇丰富度」，不是「写得好不好」。用词丰富和表达清楚是两件事，指标高但逻辑乱的文本很常见。

• 同一个词出现两次，形符加二，类符只加一。
• 全篇用词完全不重复，比值就是 1；全篇只有一个词反复出现，比值趋近于 0。
• 它是描述性指标，只说明现象，不替你做质量判断。
• 跨语言、跨体裁比较前，先确认口径一致，否则数字没有意义。

自己动手算一遍：最小可跑流程

1. 定分词口径英文按空格和标点切基本够用；中文得先决定按字、按词还是按 n-gram。口径不同算出来的数完全不同，跨文本比较前必须统一。
2. 做归一化统一大小写、去掉标点、决定停用词算不算。做了这一步就要在记录里写清楚，否则两次结果没有可比性。
3. 相除得到比值类符数除以形符数。真要自己算，一段几十行的脚本就够；懒得写就用能统计词频的表格工具，先出词频表再去重计数。
4. 记录上下文把口径、文本长度、样本来源写成一两行备注，当成固定标签。下次才有对照，不会拿两套口径的结果互相打架。

# 思路示意，不是完整实现；重点是看顺序
# 1) 读入文本 2) 归一化 3) 分词 4) 去重计数 5) 相除
# 中文记得先把分词口径固定下来，再跑后面的步骤

什么时候这个指标会骗你

长度是最大的坑。文本越长，重复词越容易出现，比值天然会被拉低。所以拿一段短文和一篇长文直接比，结论基本无效。想比，就固定长度再比，比如都截成长度一致的前若干词，或者只看同一个长度区间内的变化趋势，而不是盯着单点数值下判断。

文本类型也要对齐。产品说明书本来就该反复用同一批术语，诗歌和小说的用词习惯又完全不同，跨体裁比没有意义。专有名词密集的文本会拉高比值但不代表写得好；反过来模板化文本比值低也未必是坏事。

• 短样本的数值不要推广到整份文档。
• 中文和英文的分词结果差异很大，跨语言别直接比。
• 同一批数据里混了不同长度的文本，先分段再比。
• 拿它当筛查信号可以，拿它当判决工具会误伤。

在提示词和文本处理里怎么用它

写提示词时，把同一段指令改几版，各算一遍比值和用词分布，能快速看出哪一版在反复堆同义词、哪一版用词更聚焦。抽查模型输出时，同一个问题多跑几次，如果每次比值和用词高度接近，说明输出偏模板化；波动大则说明表达更发散。这只是观察角度，不是质量评分。

在文本清洗场景里，一批语料如果比值异常低，先怀疑是不是混进了重复粘贴的内容或页眉页脚残留，比逐条肉眼翻快得多。做法上建议把它当成筛查工具，先算出数值挑出可疑样本，再人工看那几条，而不是拿阈值直接删数据。要挑工具或对照检测服务，可以到 工具目录 看看有哪些现成的统计入口。

上手清单和常见误区

• 要做的：固定分词口径、固定文本长度、记录停用词处理方式、同体裁内比较、把它当筛查信号。
• 别做的：拿它当文本质量总分、跨语言直接比、拿短样本数值推广到整份文档。
• 排查顺序：先看长度是不是差太多，再看分词口径有没有换，再看有没有重复段落，最后才考虑文本本身用词单调。
• 记录习惯：每次算完把口径、长度、样本来源写一行备注，下次才有对照。

最后提醒一句：数值只是线索，不是结论。真正需要横向对照、想知道不同服务在同类文本上的表现时，去站内页面对照当时的数字更省事，也能避开不同口径混着比的坑。具体口径和数据，到 预置资料 与 工具目录 里核对当时的记录。