中科曙光万伟:万卡集群扩规模,高速互连是关键
训练一个大模型,往往需要把计算任务分配给大量计算设备。这些设备在各自完成计算的同时,还要通过网络交换数据,才能共同推进训练。如果数据传输跟不上计算速度,部分设备就会停下来等待,整个任务的完成时间也会随之延长。随着参与计算的设备越来越多,如何减少设备之间的等待,成为超大规模智算集群建设绕不开的问题。 11月15日,第八届
大模型训练时,计算任务得拆分到大量设备上执行,各设备算完自己的部分,还要经网络互传数据,一步步把训练推下去。传输速度一旦落后于计算,部分设备只能干等,整个任务的耗时也会被拉长。参与运算的设备越多,怎么让它们少等,就成了超大规模智算集群建设绕不过去的一道题。
11月15日,第八届中国超级算力大会(ChinaSC 2026)暨中国智能计算产业联盟理事会年会在北京召开。中科曙光高速网络互联产品部总工程师万伟到场,讲了超大规模智算集群高速网络架构的设计思路与工程落地情况,并抛出观点:算力基础设施要扩规模,高速互连是关键。
这一判断对应着集群建设中的现实要求:设备数量往上加,网络的连接、传输与管理能力也得跟上,新增的算力才能真正落到实际任务里。
集群越建越大,连接方式必须同步升级
大会发布的《万卡级智算集群网络技术发展与国产化研究报告》,是首份专门关注万卡级智算集群网络技术发展的研究报告。报告提到,集群规模持续膨胀,网络互联、存储吞吐与资源调度等环节能不能协同起来,越来越要命。对建设者来说,光买设备不够,还得想清楚设备之间如何配合。网络设计决定数据传输走哪条路,交换设备的连接能力则决定集群能用什么架构去扩展。
中科曙光走的是超节点内部互连加超节点之间组网的路子。超节点可以看成一组紧密相连的计算单元,内部靠低时延连接应付频繁的数据交换;多个超节点之间,再由高速网络拉起更大范围的协作。局部通信和整体扩展分开考虑,不同范围的连接各管各的任务需求。具体怎么设计,还得看供电散热、布线以及维护条件,才能落到实际建设里。
这套架构离不开网络芯片提供的连接和交换能力。交换芯片的端口数,决定一台交换设备能接多少设备;数据处理能力,则决定大量通信同时涌来时,交换设备能不能及时转发出去。中科曙光自研的scaleFabric高速网络把网卡芯片、交换芯片与组网架构捏在一起,采用多平面组网,在单一子网内实现大规模互连,再结合任务特点和网络连接关系优化通信。芯片和架构配合好了,接入更多计算资源时,设备之间的协作效率才守得住。
数据传得稳,计算设备才能少空等
设备连上以后,网络要过的下一关,是海量数据能不能及时、完整地送到。大模型训练中,有些计算步骤必须等相关节点的数据齐了才能往下走。传输途中一旦拥塞,或者数据丢了要重发,等待时间就会往上加。训练任务反复交换数据,这些通信开销会一点点累积,计算资源实际能用上多少,也就打了折扣。
scaleFabric用无损传输机制应对,靠流量控制与链路层重传等手段保证传输可靠,把传输异常对任务的干扰压下去。流量控制管的是发送与接收的协调,链路层重传处理的是链路传输中冒出来的错误。这两样再配上通信优化,图的就是让数据更稳地抵达计算节点,少因通信问题空等。
数据传输之外,通信发起这一环也有开销。面向大模型训练与推理,scaleFabric借助IBGDA等技术让GPU直接发起网络通信,CPU不再插手通信调度,这部分开销省下来,节点间的通信等待随之缩短。目前,scaleFabric已完成DeepEP通信框架适配,为大模型多节点协作与Token生成效率提升提供支持。高速网络的优化由此接到应用软件上,实际任务才用得上硬件给的通信能力。
从研制网络到工程运行,考的是完整系统能力
通信效率得在长时间运行中稳得住,链路故障也必须及时处理。scaleFabric支持毫秒级链路切换,路由恢复时间不会因为集群规模变大而拉长。这项能力直接关系到网络扩展后到底好不好用。连接规模继续往上走,网络仍要能及时恢复通信,局部故障对并行任务的影响才能压到最小。
故障恢复之外,运维人员还得准确摸清网络状态。FabricView高速网络管理平台把配置部署、健康筛查与运行监测串在一起,任务上线前可以筛查异常节点,任务执行中能定位繁忙链路和异常端口。应用跑慢了,这些信息帮运维人员判断网络有没有问题,把排查范围收窄。网络硬件与管理软件就这样接上了,一起服务于集群的日常运行。
中科曙光的相关网络设计已在曙光8000中得到工程验证,scaleFabric与曙光8000的工程实践也被上述研究报告收录。大会期间,中科曙光获评“2026中国算力领军企业”,scaleFabric高速网络入选“2026中国算力应用典型案例”。两项荣誉,一项指向算力系统研制能力,一项指向高速网络应用成效,行业认可之外,从自主研发到工程应用的技术积累也有了具体呈现。
超大规模集群建设,对高速网络提的是一整套要求。连接规模一大,应用通信能不能保持高效,故障能不能及时处理,网络状态好不好管理,都会影响算力投入的最终效果。中科曙光把这些要求贯穿到芯片研制、架构设计与工程运行中,为国产智算集群的持续扩展提供系统性支撑。对使用者来说,这些技术值不值,最后还得看计算任务能不能高效、稳定地跑完。