中国信通院:2026年6月词元日均消耗约500万亿,达2025年12月近4倍
报告显示,国内词元服务吞吐量较去年翻倍但仍低于国外,首词时延有所增加,价格明显回升。开源模型性能提升显著,同一模型在不同平台性能波动较大。#大模型词元服务# #中国信通院报告#
10月24日消息,中国信通院给出的数据显示,大模型技术迭代很快,词元(Token)服务成了技术落地应用的一个关键环节,我国日均词元调用量一路走高。到了2026年6月,国内词元日均消耗量约为500万亿,接近2025年12月的4倍。眼下,越来越多MaaS(Model as a Service,模型即服务)平台厂商开始以公有云API的方式提供大模型词元服务。问题是,用户对词元服务的性能缺少直观判断依据,选型时也常遇到各种困难。
为了能有效衡量服务性能,中国信息通信研究院(简称“中国信通院”)人工智能研究所、人工智能大模型及软硬件评测工业和信息化部重点实验室,还有中国人工智能产业发展联盟,从2025年起就在持续做公有云大模型词元服务性能监测,给产业应用提供参考。这次三方联合发布了《大模型词元服务性能监测报告(2026年)》。
这份报告依据2026年1-8月的监测数据,从各平台词元服务的调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度展开分析,把原厂大模型官方平台与DeepSeek、Qwen、GLM、Kimi四款开源模型在第三方平台上的性能差异做了对比,并进一步梳理影响词元服务性能的关键因素,归纳产业核心观察,说明下一步工作计划,目的是给用户选型作参考,也为产业界优化服务能力指出方向。
报告核心观点如下:
1. 国内词元服务每秒吞吐量比2025年翻倍,但还是低于国外
报告提出,8月份国内各模型平均TPS(每秒输出词元数)为78.23(个/秒),2025年均值是38.25(个/秒),相比之下翻了一倍。不过8月份国外典型模型的TPS均值达112.82(个/秒),2025年12月为51.35(个/秒),提升同样超过一倍,整体上仍优于国内。

2. 词元服务时延有所增加,国内外趋势一致
报告提出,今年以来国内各模型的平均TTFT(首词时延)一直在往上走,8月份均值达到1.26秒,而2025年平均值是0.78秒,增加明显。同期国外典型模型8月份TTFT平均值达到2.08秒,4月份还是1.04秒,同样明显上升。TTFT上升其实不单是性能退化,模型参数量增加、上下文长度增加、调用量增加等多种因素同步发生,才带来这一结果。

3. 2026年词元服务价格明显回升
报告提出,过去两年打价格战,到了2026年国内外模型服务价格明显上涨。国内2025下半年归一化均价为6.8元,今年以来均价为13.46元,涨幅接近1倍。国外价格还是高于国内,2026年以来发布的典型模型平均归一价格为117.8元左右。

4. 模型上下文长度不断向百万级长度扩展
报告提出,被监测的模型里,上下文长度达到1M(1百万词元)的占47.8%,200K及以上的合计达95.7%,相比2025年底提高超过76个百分点,低于200K的模型占比则在持续减少。

5. 开源模型词元服务性能提升显著,同一模型在不同平台性能波动较大
报告提出,5月份对4款开源模型的新版本做了更新监测,结果显示TPS持续提升,TTFT时延不断压缩。比如8月份DeepSeek-V4-Pro的TPS已经达到DeepSeek-V3.2的2倍。时延方面,5月份主要模型完成换代升级后,TTFT普遍出现阶段性上升,随着推理优化措施落地,时延指标又逐步回落到换代前水平。同时,这4款模型在不同平台上的TPS、TTFT、调用成功率表现并不一致,部分第三方平台的性能明显好于官方平台提供的模型服务,同一模型在不同平台间的TPS差距最大能接近一倍。各平台对相同模型的推理加速、优化策略、成本控制各不相同,这是性能出现分化的主要原因。
