AI模型多语种成本差：Token消耗最高17倍，分词器税浮出水面
IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量可能相差悬殊。Token
10月30日消息，使用小众语言的用户，在调用AI服务时可能要掏比英语等主流语言用户更多的钱。
当地时间28日，外媒Rest of World报道称，人工智能语言公平研究联盟在上月发布的一项研究里发现，AI模型处理不同语言时，消耗的Token（词元）数量差距可能非常大。Token由分词器把文本、图像或音频拆分而成，是AI模型处理数据的基本单位。研究人员把不同语言带来的这笔额外开销叫作隐性的“分词器税”，网络内容偏少的语言尤其躲不开。
研究显示，即便只看互联网上最常用的20种语言，Token消耗量也差别明显，最高的达到最低的1.5至5倍。测试范围一旦扩到200种语言，差距会继续拉大。在其中一个AI模型上，不同语言之间的Token消耗量最多相差17倍。
研究报告提到，班加罗尔一家初创企业每次向AI输入指令、获取回答，都可能比……计算资源和网络条件本来就有限的地区，受到的冲击更重。分词环节的不平等，还挡住了人们参与AI经济的机会。
印度首家专注AI投资的风险投资基金Activate AI，其联合创始人普拉蒂尤什·乔杜里表示，换用非英语语言时，同样的上下文容量能装下的文档和对话记录会变少，AI给出回答也更费劲。
乔杜里用课堂教学打比方：“老师要想把学生教好，就得记得学生过去犯过哪些错、听过哪些讲解。可要是用某种语言时，这些历史记录很快就把上下文窗口塞满了，最后连教学效果都会受牵连。”
乔杜里认为，语言处理效率该和准确性、速度、可靠性并列，算作AI产品的一项基本要求。“要让所有语言都得到完全平等的对待，恐怕不现实，但长期存在这么大的差距，总得有个说得通的解释，还得拿出改进方案。我希望各大AI实验室都把各语言的评估结果公开出来，讲清楚用不同语言完成同样难度的任务各自要花多少钱，并且承诺去改善支持最弱的那些语言，做出能用量化指标衡量的进展。”
报道提到，把底层数据质量提上去，是缓解这一问题的办法之一。印度孟买做AI语音基础设施的初创公司Navana.ai，其联合创始人兼CEO拉乌尔·纳纳瓦蒂表示：“开放数据项目在这件事上很关键。像我们和印度科学学院合作、由盖茨基金会资助的RESPIN项目，就拿到了38种方言母语者提供的文本和朗读录音。”
但人工智能语言公平研究联盟也发现，左右Token消耗量的因素里，语言使用人数并不是唯一一项，采用什么文字同样关键。
举例来说，阿斯图里亚斯语使用者不多，Common Crawl数据集里也没收录它，可拉丁字母帮它占了便宜。意大利语等同属罗曼语族的语言在数据中有覆盖，阿斯图里亚斯语也跟着沾光。
Maya Research CEO迪曼特·雷迪表示，眼下许多分词器依旧主要围绕英语这类数据资源丰富的语言做优化，根本症结在于高质量的数字化数据不足。
雷迪也强调，光把训练数据改好并不够：“Token价格掉得很快，费用差距带来的直接冲击应该会慢慢减弱。多语言数据和合成数据做得更好，同样能帮模型提质量。但真要缩小各语言之间的分词差距，AI实验室还得专门去改下一代分词器的设计，让它能更好地应付这些语言和文字。”
