海光信息谈Agent时代算力：Token产出效率成新标尺

人工智能正从一问一答的对话，走向能自主规划、自主执行的Agent（智能体）阶段。AI应用对底层算力的需求，也因此发生了根本变化。

在近日召开的2026中国计算机大会上，海光信息智算量化设计专家孙建鹏作了一场演讲，题目是《依托系统层级推进 Token 高效吞吐》，重点谈Agent时代大模型算力面对的新难题。任务链条越拉越长，上下文窗口迅速膨胀，大模型要处理的Token数量正以指数级增长。算力系统能不能稳定、高效地把Token产出来，成了行业眼下盯得最紧的问题。算力需求的关注点，已经从“峰值”转到“有效产出”。

以往评价算力基础设施，业界习惯盯着单台设备的峰值算力参数。可到了Agent应用大规模落地的时候，这套标准正慢慢失灵。孙建鹏在演讲里摆出一组数字：眼下全球Token消耗已达650万亿/日，中国Token消耗也到了140万亿/日，而且还在高速增长。主流大模型参数规模正向10T突破，上下文窗口扩大到10M级别，只靠堆硬件峰值已经接不住实际需求。

把视线放进大模型真实的运行场景，算力系统当下的痛点会看得更清楚。大模型要处理数十万字的长文本，Agent要连续数小时做记忆和推理，庞大的KV Cache（键值缓存）会迅速把显存吃满。高带宽显存（HBM）容量有限，数据只能被迫在显存、DRAM乃至SSD之间来回倒腾。这种被动“搬运”把访存延迟拉得很高，生成速度也被严重拖慢。KV Cache容量会随上下文和留存时间线性增长，业界的应对办法是分层存储加动态冷热调度：热数据常驻HBM，冷数据按需下沉，以此减少无效迁移和访存等待。说到底，只有拆掉“存储墙”，算力才不会干等着数据空转。

分布式集群里，大模型训练和推理常常要成百上千张加速卡一起干活。TP、EP、CP等不同并行策略交织在一起，节点之间会产生巨大的通信量。协同过程中一旦数据传输堵住，单卡计算单元跑得再快，也得停下来等同步。系统因此需要具备通信计算重叠、拓扑感知这类能力，把“通信墙”打破。海光信息正在优化通信域规划与链路亲和，想让网络成为算力系统的“第二算力”，靠系统级的通信协同，保证集群整体有效吞吐稳定输出。

“

海光信息总裁助理兼智能计算产品部总经理杜夏威也强调，Agent应用正从单次问答转向连续推理、自主执行，Token需求会持续增长。提升算力价值，不能只盯芯片峰值性能，更要看有效Token吞吐和系统整体效率。

怎么破墙？海光提出的思路是从系统层级推进Token高效吞吐。孙建鹏把拖慢Token产出的瓶颈形象地归为“四堵墙”：算力墙、通信墙、存储墙和调度墙。这四类瓶颈会相互叠加，哪一处受限，Token的整体产出效率都会被拖下来。

海光给出的系统级解法，是打通软硬件全栈优化链路，在“算、传、存、调”四个维度上做全局协同。落到实践中，就是从应用层、框架层、算子层、运行时、系统层一直到芯片层分层优化。比如算子层用GroupGEMM与算子融合，系统层做CPU-GPU异构协同，通信领域推进RCCL拓扑感知和通信计算重叠。这些局部优化，得靠跨层协同才能真正变成端到端的收益。

“协同的本质是匹配，目标是减少等待与无效搬运。”孙建鹏表示。

要精准找到瓶颈，海光提出了“产出瓶颈四步分析法”：先看端到端现象，是慢还是贵；再拆解分域指标，比如算力利用率、通信占比、KV命中率；接着提出假设；最后用Roofline模型、通信量化等证据去验证。海光依托的是基于3D Roofline诊断和全栈性能归因的量化分析系统，帮客户从硬件实测、模型解析走到架构寻优，做科学决策，不再靠经验主义盲目试错。

Agent时代，Token持续高效产出既是技术演进的方向，也是AI基础设施建设的核心价值所在。从“以Token产出衡量算力价值”这个出发点看，海光信息的系统级优化理念正在一步步落地。

杜夏威介绍，海光依托CPU+DCU双芯协同，围绕任务处理、数据传输、存储访问与资源调度做系统级优化，减少计算等待和无效数据搬运，并用量化分析定位系统瓶颈，让芯片性能转化为更高的Token产出效率，为智能应用高效、稳定运行提供支撑。

接下来，海光信息会继续发挥CPU+DCU双芯协同的异构计算优势：CPU负责复杂的逻辑调度与任务编排，DCU专注高效并行计算，把算力资源匹配得更精细。在金融、政务、医疗等对数据敏感的行业AI场景中，海光还会把安全可信计算理念融入系统架构，确保从硬件底层到上层应用的全链路安全。

孙建鹏表示，AI Infra 的建设要靠系统量化来驱动，Token 吞吐也要做到高效。海光打算用全场景覆盖、全链路协同和全周期演进这几步，让国产算力持续稳定高效地跑起来；底座打扎实了，各行各业对稳定、安全、高效 AI 算力的那些严要求才接得住，中国大模型在 Agent 时代也才能跑出“加速度”。