算力标尺转向Token有效产出：算传存调四堵墙待拆

GPU峰值算力年年往上走，真正产出的Token（词元）怎么还是不够用？

10月22日，2026中国计算机大会（CNCC 2026）上，Token实际产出怎么评估，被摆上台面重新定义。

AI Agent（智能体）不再只做一次问答，而是持续执行任务；AI4S（科学智能）的复杂计算又不断顶到算力天花板。衡量算力的标尺因此换轨，Token有效产出成了新的度量衡。“AI高通量推理基础设施”分论坛上，计算、通信、存储与调度被一层层拆开，Token怎么高效产生，答案露了出来。

缺口：Token供需缺口将长期存在

物理世界的供给增速追不上数字世界的需求增速，供需缺口会长期存在。全球Token消耗量2026年为0.026Peta，到2030年将增至152667Peta；AI算力供需缺口则从2024年的389亿美元扩大到2030年的3809亿美元。

缺口从哪来？AI已经从“生成”阶段走进“执行”阶段。Token是成本核心，Agent是价值核心。IDC调研显示，2026年平均每家企业打算部署19.65个Agent。Agent走长链路执行，把算力需求从单次推理变成持续运转的供给体系。Agent一旦规模化运行，算力就被推到国家关键基础设施的高度。

瓶颈：峰值算力面前的“四堵墙”

斯坦福《2026年人工智能指数报告》显示，全球Token日消耗量已达650万亿，中国约占140万亿。主流模型参数规模三年增长逾40倍，中国已进入万亿参数梯队，10万亿参数模型或在2028年部署。

需求陡峭向上，Token供给效率却难言乐观，供给侧横着“四堵墙”。海光信息智算量化设计专家孙建鹏把“峰值算力为何变不成有效Token”当成一道工程题来拆。

孙建鹏将其概括为“算、传、存、调”四堵墙。“算力空转、通信等待、访存搬运、调度排队，四类瓶颈叠加，任何一处短板都会拖慢Token产出。”他说：算力墙上，利用率不足，峰值不等于有效算力；通信墙上，同步等待期间算力只能空转；存储墙上，键值缓存随上下文增长，容量不够就触发换出或重算；调度墙上，排队与空泡让算力碎片化。

破墙得靠系统协同。海光信息沿四大维度搭起六层优化体系，覆盖应用、框架、算子、运行时、系统与芯片，用计算通信重叠、分层缓存管理、动态批处理与全局调度等办法，减少无效搬运和等待。落点有三条：用有效Token产出来衡量算力价值，用系统协同去突破性能边界，用量化分析推动架构演进。

协同：网络少等待，存储少重算

四堵墙当中，通信和存储这两堵，究竟怎么拆？

中科曙光高端计算副总工程师赵欢算了笔通信“等待”的细账。混合专家模型训练时，通信时间占比能到40%至60%，通信网速慢一拍，加速卡就多空转一拍。赵欢打了个比方：智算集群是生产线，作业系统是调度室，GPU是机床，高速网络是传送带；传送带一堵，整条生产线就停摆。“网络的每一微秒延迟，最终都由最贵的机床GPU来买单。”

MFU（模型算力利用率）不只是算力指标，它算的是算力、网络与调度合起来的产能。万卡集群的MFU每提升1%，相当于每天多产出约240卡时的有效算力，等同于“白捡”数百张卡的产能。

这张网管起来并不轻松。今年7月，首个全国产十万卡AI超集群曙光8000在郑州建成。它充当这个十万卡集群的高速网络基座，接入的网卡超过5万张、交换机超过3000台，每天处理的作业量在30万个以上。靠高速网络运维管理平台FabricView，过去需要3至10天的人工配置检查，如今10分钟就能完成；故障平均恢复时间也从小时级压到了分钟级。在赵欢看来，管好网络就是要让网络从成本中心转为产能引擎，换回更多Token产出。

存储芯片涨价，大家都感受到了，也清楚智算中心拿走了大部分存储芯片，但很少有人往下追问：AI为什么如此渴求存储芯片？到2026年，推理计算量占比已经达到三分之二，成了AI算力的主要任务。可这里面有大量重复劳动：会话Token总量超过4K（大约5轮）之后，每轮重复计算占比就超过90%；某

“以存换算”在中科曙光已经成为共识，代价是内存墙、新增的额外开销，以及引擎间缓存彼此隔离。

石静提出缓存全局池化：把本地显存、内存、SSD与分布式存储组织成多级缓存池，统一管理调度，让键值缓存不再困在单机里。国内某头部互联网企业的在线推理业务用了这个方案，平均首字时延降低77%，同等硬件条件下吞吐量提升3倍。“让每一次预填充都不白算”，石静这样概括存储角色的转变——从存数据到存智能。

跃迁：一座座Token工厂组成全国一张网

单点性能之外，还有更大尺度的协同。中科曙光高端算力系统首席架构师刘冠川提出，高通量推理的竞争正从单点性能转向系统效能：推理负载长出长上下文、高并发、复杂任务链的特征，约束也从单一算力变成计算、存储、通信与调度并重。

全栈如何耦合？刘冠川给出三条路径：计算侧采用超节点，提升多卡协同效率，40张加速卡组成一层网络；数据侧让数据从存储直接进入GPU显存，读取性能比传统路径提升2.4倍；调度侧通过PD分离，把预填充与解码解耦。

从单座Token工厂往外看，超算互联网解决方案部负责人陶丹把视角放大到全国算力一张网。“更大的工厂”不等于“完整的AI4S能力”，AI4S任务天然是分布式的，数据分散、计算异构、任务多轮迭代。可行的方向是Token工厂网络，把全国超算与智算资源全域并网、统一调度。陶丹介绍道，这就像电力系统从单台发电机走向全国电网，算力产业也在从单点智算中心走向全域协同的智能产能管网。超算互联网已接入6000P以上双精度算力，活跃用户超170万，全网削峰填谷，算力利用率可提升约40%，单Token成本可下降约60%。

“算力如何变成高效Token”，答案慢慢清楚了。它不在某一块芯片里，而在计算、通信、存储与调度环环相扣的配合里。芯片决定上限，系统决定产出。

在CNCC 2026展区，一座“光合森林”把光合组织的生态图景摆了出来：芯片、整机、网络、存储、基础软件都在其中。独木不成林，单项产品再强，也得在开放架构下完成适配，才能拼成可部署、可运行的人工智能基础设施。

电气时代早就提供过参照：电气化程度高低，从来不光看发电机功率，还要看电网的调度与协作。Token经济眼下正走到相似的节点，算力价值到头来要用稳定输出的Token来衡量。