灵汐科技类脑超节点：GPU推理性能如何“涡轮增压”？

芯东西（公众号：aichip001） 作者 | 李水青 编辑 | 漠影

GPU集群做推理，性能瓶颈已经显现，类脑芯片这回来做“增压”。刚刚，国产类脑超节点站上了新高地，国产算力降本增效多了一条新路子。

智东西11月4日报道，11月2日至11月5日的2026世界互联网大会上，“互联网之光”博览会公布十大精品首发成果。北京灵汐科技有限公司联合中移（苏州）软件技术有限公司、中国电子科技南湖研究院共同申报的“面向大模型高性能推理FFN加速类脑超节点”入选。

这套方案的不同之处，是把GPU和类脑芯片搭在一起：GPU负责Attention（注意力机制）计算，类脑芯片专接FFN（前馈网络）及MoE（混合专家模型）专家层推理任务。9月举行的2026中国算力大会上，这一国产GPU+类脑芯片异构混合推理系统已经完成全球首次公开亮相。

从算力大会首发样机，到互联网之光上以标准化算力单元公开示人，国产AFD（Attention-FFN Disaggregation，Attention与FFN解耦）路线正进入产业卡位阶段。

它盯上的是全球大模型推理架构里正在冒头的AFD路线。英伟达用LPU组合，摸索下一代异构推理架构；国内灵汐科技依托自研类脑芯片，走出一条有中国特色的技术实现路径。

一、GPU推理的效率瓶颈，藏在Attention和FFN的分工里

大模型推理为什么越来越贵？

原因在于资源错配：GPU内部不同计算任务对硬件资源的需求并不相同。拿Transformer架构来说，每一层都含Attention和FFN两个核心模块。前者主要处理上下文信息，要频繁读取KV Cache，对显存容量和带宽要求较高；后者主要加载模型权重做矩阵计算，承担大量计算任务。

眼下主流的GPU计算架构芯片，面对大模型高性能推理需求有两处不足。其一是冯诺依曼架构形成的内存墙，计算能力远高于数据供应能力，算力利用率不足，功耗白白浪费；其二是GPU的动态调度机制，满足并行计算的同时也带来延时的不确定性，容易造成延时高。GPU扛大模型高性能推理时，Attention更依赖显存带宽，FFN则需要充足的低延时计算资源，两种任务塞进同一张GPU，资源错配很难避免。

在MoE中，问题更突出。模型虽然拥有大量专家，但每个Token只会激活其中一部分，计算任务被分散到不同专家，FFN难以形成足够大的计算批次，部分GPU算力可能闲着。

怎么让不同模块各自拿到最合适的硬件资源？

大模型推理架构正从P/D（Prefill/Decode）解耦，进一步走向AFD，也就是Attention与FFN模块级解耦。前者把预填充和解码分配到不同计算资源，后者则进一步把每一层Transformer中的Attention和FFN拆开部署。

这已经是全球产业探索的方向。2025年12月，英伟达将Groq及其存算一体LPU技术纳入体系；2026年3月首次发布Rubin GPU与Groq LPU混合集群方案，预计今年底全面推向市场。Groq LP30每颗带有500MB由编译器管理的片上SRAM，尽量把权重与激活留在片上。

在国内，灵汐科技做类脑芯片设计和大模型推理应用已经多年，KA200用的是片上存算一体加事件驱动的架构，这套思路跟Groq LPU很接近，而实际提出并启动研发的时间，也不比英伟达晚。

二、把FFN交给类脑芯片，国产异构推理如何实现？

这套系统的核心变化，是让GPU和类脑芯片各自负责擅长的工作。

灵汐方案里，GPU负责Prefill、KV Cache构建与维护，以及Attention计算，发挥并行计算能力强、HBM显存大、软件生态成熟的优势；类脑超节点专门承接FFN前馈网络和稀疏MoE专家层推理，发挥KA200存算一体、事件驱动、高片上带宽的特性。

KA200类脑芯片采用12nm制程，核心优势在于片上SRAM存算一体和事件驱动机制。传统GPU得在显存与计算单元之间反复搬运数据，KA200则把权重直接驻留在计算单元旁边，数据不必长途搬运；事件驱动机制让计算资源根据输入事件进行调度，减少无效工作；静态编译技术把指令与数据路径提前规划好，实现零运行时调度，延时因此确定。

但把两种芯片连接起来，远比简单地把计算任务分配给不同设备复杂。

落到工程上，灵汐搭的系统由3至6台GPU服务器和3台类脑超节点构成，一台类脑超节点里互联着数千颗KA200类脑芯片。GPU那边原本跑的FFN算子会被卸载出去，放到类脑侧部署；类脑侧算完，再把结果写回GPU侧，去对接模型里Attention相关的计算。整个推理流程由GPU和类脑节点一起跑，类脑侧充当的是FFN服务节点。

FFN这块走的是静态编译的路子，编译完就定下每颗芯片片上SRAM怎么部署，让数据流水和时延都能按确定性来算、来优化，时延上的不稳定和随机抖动也就一点点被消掉。

撑起这套协同的，是灵汐自研的模型编译器、高速互联协议和统一异构推理引擎。硬件上，超节点由HP640系列类脑计算板卡和LynxLink高速交换机构成，软件上则用了异构调度引擎和统一内存地址编译技术。系统原生兼容PyTorch、DeepSpeed、Megatron-LM等主流大模型开发框架，也兼容多种主流推理引擎，模型不用做复杂的二次改造。FFN加速能力被包成可独立交付的算力单元，硬件无关、模型无关，能直接跟存量GPU服务器混合组网，现有智算中心机柜的风冷部署条件也适配。

对照英伟达Rubin GPU+Groq LPU方案，灵汐走的是一条国产化的异构推理路线。它不要求GPU退出推理系统，而是通过增加专用类脑算力节点，给GPU装上一台“

三、每秒数万Token之外，更大的想象空间是让存量GPU焕然一新

架构创新能不能立住，最后还是要看实际跑出来的结果。灵汐团队此前拿DeepSeek V4 Flash模型做过异构推理测试。

在上下文不低于32K的长文本条件下，用3台到6台A800 GPU服务器配上3台类脑超节点，系统输出吞吐落在数万到十万Token/s之间。

项目资料里按同等投入成本做了对比：GPU加类脑超节点的方案，推理吞吐和能效都提升1倍以上，综合业务运营成本降幅超过40%。这套方案也已经在头部电信运营商的智算中心完成主流大模型商用验证。

眼下的测试成绩还没停在原地。按项目团队的说法，DeepSeek V4 Flash用的是MoE架构，每个Token只激活256个路由专家里的6个。后面再把混合专家优化和模型量化叠加上去，硬件资源需求有望进一步压低。

两项优化一起上，项目团队给出的目标是把系统输出吞吐推到数十万Token/s。

从产业侧看，这套方案的另一层价值在利旧。不少智算中心已经堆了大量GPU服务器，其中一部分存量卡的性能跟新一代高端产品差着一截。

灵汐已经和天数智芯较早型号的GPU完成对接，推理输出和推理能效同样提升1倍以上。

往后，FFN类脑超节点有望接上不同种类的GPU，拼出更灵活的异构算力集群。对国产GPU厂商和智算中心运营方来说，这也是一条新的扩容与降本路径。

结语：给GPU装上涡轮，Token工厂有了新底座

从单颗芯片拼制程，到GPU和类脑芯片做系统级协同，国产算力正在找新的性能增长空间。大模型推理进入规模化应用阶段后，决定算力竞争力的东西已经延伸到硬件分工、数据搬运、跨架构调度和系统能效。

灵汐FFN加速类脑超节点入选互联网大会十大精品首发成果，说明国产异构推理这条路线正从技术验证走向标准化产品探索。让不同架构的芯片各干各的活，让已有算力多出几分价值，或许会成为下一阶段国产AI Infra竞争的重要变量。

这同时意味着，Token工厂的算力方案对纯GPU架构和先进HBM的依赖会有所下降，用国产类脑芯片给GPU做“涡轮增压”的混合异构集群时代正在靠近。