词元成双11热销品类:大模型厂商卖的到底是什么?
学习时报刊文:大模型厂商卖词元,卖的究竟是什么?,词元,计量,大模型,学习时报,人工智能模型
今年“双11”,直播间里跑火了一件看不见的商品——词元(Token)。天猫把词元单独列为一个品类上架,开售首日该品类成交额环比增长450%。消费者能按需买一定额度的词元,也能包月、包年订阅相关服务。眼下,词元已从专业计量单位变成普通人可以下单、可以“囤”的消费品类。大模型厂商卖词元,卖的究竟是什么?词元这种新的消费内容和消费方式,又会给消费者和市场带来哪些问题?
国家数据局给词元的定义是:大模型处理信息的最小信息单元。文本、图像、代码、音频、视频等输入,在大模型运行时会按一定分词规则转成词元序列,模型以切分出的词元为单位做解析、运算、推理和输出,用户每一次与模型交互,都以消耗词元为前提。说到底,词元是大模型认知世界的基本单元,是它运转的核心“燃料”。产业界眼下已把词元叫作“人工智能时代的通用货币”,认为词元之于人工智能,如同千瓦时之于电力、吉字节(GB)之于通信流量,它不只是人工智能服务的计量单位、结算单位和统计单位,还是衡量智能社会智能服务消费规模与算力资源配置效率的核心指标。
词元又何以成为商品?按马克思主义政治经济学基本原理,商品是使用价值与价值的统一,二者根源于生产商品的劳动所具有的二重性。词元是大模型处理信息的计量单位,其商品属性要从它所计量的智能服务来理解。从使用价值看,词元计量的智能服务能满足用户在信息处理、知识获取、内容生成等方面的需要,实际效用取决于大模型的技术能力和服务质量。从价值看,智能服务的价值来自生产和提供服务过程中耗费的社会必要劳动,既包括研发、训练、运维等环节投入的活劳动,也包括芯片、服务器等生产资料中转移的既有价值。词元在模型调用过程中即时生成,没法像实物商品那样预先生产、储存。所以,服务商“卖词元”,卖的是以词元数量计量的智能服务;消费者“囤词元”,囤的是未来一定期限内智能服务的使用权利。
词元以充值、订阅等形式进入大众消费视野后,有几个问题值得关注。一是计价标准不统一。各家大模型采用的词元切分规则不一样,同一段文本在不同模型中可能对应不同数量的词元。比如“人工智能”四个字,有的模型切为一个词元,有的切成两至三个,有的按字切分,有的按词切分。以词元计价的服务价格因此缺乏直接可比性,消费者比价成本上升,企业也容易在计量规则和定价方式上做文章,偏离以模型性能和服务质量为核心的竞争方向。二是词元消费的权责边界还不清晰。面向普通消费者的词元销售,目前主要有按量充值和定期订阅两种,性质上都属于预付式消费。智能服务无形、即时,消费者付款时很难充分判断服务质量,预付式消费的风险也就更突出。三是词元消耗量同智能服务的实际效用存在偏离。词元消耗量反映的是模型处理信息的数量,不能直接衡量服务质量。同一个任务,消耗更多词元可能结果更好,也可能带来重复生成、无效推理和失败重试。按词元数量计费,消费者要为实际消耗的词元掏钱,却未必拿到与支出相称的服务效果。
词元作为商品上架销售,说明智能服务正在变成和水、电、网络一样的基础资源,渗透进人们的生产和生活。这一变化一方面表明,人工智能应用正从专业领域加快走向日常消费;另一方面也带来一个新问题:词元的供给如何保持有序、价格如何定得合理。要从划定标准、明确规则、树立导向几个方面着手,让词元经济走健康、可持续的路子,更好地服务于新质生产力发展和人民对美好生活的向往。第一,计量标准应尽快相对统一。一是统一尺度。相关部门、标准化机构和产业界需要一起建立统一的计量口径与计价单位,不能再让大模型厂商各自设定计量和计费方式,这样市场价格信号才有可比的基础。二是标准要相对统一,不必绝对划一。同样是一百万词元,旗舰模型和轻量模型给出的智能服务质量差别很大。可以试着建立基准文本和换算系数,按模型能力分级分档,做到同档能比较、异档能区分。三是信息披露要及时跟上。目前已有运营商推出统一的算力量纲,尝试把不同模型的词元消耗折算成标准积分。应当在总结这些探索的基础上,推动团体标准升级为行业标准、国家标准,为词元服务的市场定价和公平竞争提供依据。
第二,切实保护消费者合法权益。电表、水表装在用户能查看的位置,词元计量却主要在服务器内部完成。一次大模型调用消耗多少词元、账单依据何在,普通消费者既难以知晓,更无从核验。对此,应完善用量查询、账单明细、超额提醒和消费限额等机制,保障消费者知情权和选择权。同时,严格落实《中华人民共和国消费者权益保护法实施条例》关于预付式消费的有关规定,明确服务商的履约和退款责任,防止擅自降低服务质量、变更收费标准。部分电商和二手平台上还存在代充值、接口中转等服务,其中隐藏着以低配模型冒充高配模型、泄露用户数据等风险,需要加强平台治理和监管执法,守住数据安全与消费安全的底线。
第三,用正确的价值导向引导词元经济健康发展。一是发展词元经济要始终站稳人民立场。智能服务承载的是社会共同积累的知识成果,广泛应用应当让全体人民受益。市场竞争会推动服务价格合理下降,同时也要降低老年人、农村居民和小微经营主体的使用门槛,防止出现新的“智能鸿沟”。二是引导树立正确的词元消费观。词元调用量被看作人工智能产业发展的“晴雨表”,但消耗本身并不是目的。对个人消费者来说,应按实际需求合理购买,不要盲目囤积;对企业和地方来说,不能把词元消耗量简单当成业绩,要防止为消耗而消耗。三是推动词元消费绿色低碳发展。模型调用规模扩大、推理任务越来越复杂,数据中心能源消耗可能持续增长,应通过优化推理算法、减少重复运算等办法提高算力利用效率。