Docomo 5G核心网26天4起全国故障:11天连断三次
10月21日,法国Orange全国移动网络大面积中断。 11月5日,日本NTT Docomo的5G SA服务全国中断。 11月11日,Docomo的5G SA服务再次全国中断。 11月16日,Docomo的5G SA服务第三次全国中断。 短短26天,两家大型运营商接连发生4起全国性移动网络重大故障,而故障都出在同一个关
10月21日,法国Orange的全国移动网络出现大面积中断。
11月5日,日本NTT Docomo的5G SA服务全国中断;11月11日,同一服务再次全国中断;11月16日,第三次全国中断。
前后不过26天,两家大型运营商接连出了4起全国性移动网络重大故障,问题都指向同一个关键环节——5G核心网。
Docomo:11天连断三次
对一家正加速从5G NSA向SA迁移、想借此改善网络质量并重建用户信任的运营商来说,这11天差不多是一场极限压力测试。
11月5日上午11时18分前后,Docomo的5G SA服务发生全国性故障,最多约158.7万名5G SA用户受影响,语音、数据、短信都不能正常使用。直到次日凌晨1时20分左右才恢复,持续约14小时。
Docomo最初在公告里给出的原因是:承载5G SA签约用户的交换设备发生拥塞。
11月6日,Docomo又进一步说明了故障经过:承载5G SA用户的部分交换设备出现内存异常,处理能力下降,响应时延不断升高。
终端长时间收不到网络响应,就会反复重传。大量重传又进一步推高核心网的信令负荷,形成近似“信令风暴”的现象,最终把局部设备的异常,放大成了全国性的5G SA业务中断。
Docomo 对故障为何拖了 14 个小时作出说明:内存异常出现的时候,全国范围内的用户数据库文件更新正在进行,两件事撞在了一起。排查人员一开始把怀疑方向放在数据库更新上,认定是它惹的祸,于是多花了不少时间去核查相关作业。
更麻烦的是,出问题的偏偏是核心通信系统里的主用系统。这就意味着,设备不能一重启了事,主备也不能说切就切。业务恢复期间,还得把大量终端同时重新接入所引发的信令洪峰压住,防止恢复动作本身再带出第二轮拥塞。

图源NTT Docomo
故障恢复后,Docomo表示已完成临时措施,并计划在一周内完成防止内存异常再次发生的永久措施。然而,第一次故障刚落幕,永久措施还在“一周内完成”的时间表上,六天后,同一张网络再次中断。
11月11日上午10时34分,Docomo的5G SA服务再次发生全国性故障,直到晚上7时17分才完全恢复,持续约8小时43分钟。受影响的仍是5G SA签约用户,普通5G和4G依然正常。
这一次,Docomo给出的原因与第一次最初的表述基本相同:承载5G SA签约用户的交换设备发生拥塞。
但Docomo没有进一步说明具体原因,也没有说明是否与第一次的内存异常有关。这些问题还没有答案,五天后,第三次故障又来了。
11月16日上午10时02分,Docomo的5G SA服务第三次出现全国性中断,直到下午3时58分才全部恢复,前后持续约5小时56分钟。受影响的范围和前两次一样:签约5G SA用户的语音、数据与短信受阻,普通5G和4G用户不受波及。
Docomo这次给出的原因表述是:通信集中到承载5G SA签约用户的交换设备。对比此前说法,官方口径已从“交换设备发生拥塞”改为“通信集中到交换设备”。
可通信为何会突然集中?三次故障之间有没有关联?Docomo依然没有透露。
稍显积极的一面是,三次故障的持续时间在缩短:从约14小时,到8小时43分钟,再到5小时56分钟。这或许说明,Docomo定位故障和恢复服务的速度有所提高。
Orange:软件漏洞击穿主备系统
Docomo连发三次故障,让人联想到不到一个月前法国Orange的那次全国性断网。
当地时间10月21日上午11时37分,Orange网络突然在全国范围中断,数百万用户没法正常打电话、发短信,也用不了移动数据。服务到下午6时30分至晚上8时30分才陆续恢复。
法国媒体报道称,问题出在Orange的新移动核心网设备上。过去18个月,Orange一直分批将用户迁入这张新核心网,每批约10万用户。此番受影响的是已迁入新核心网的部分4G和5G用户,仍留在旧核心网的用户则未受波及。
事故恰好发生在用户迁移期间,外界一度猜测是核心网割接失败。Orange随后否认了这一说法,并给出真正原因:诺基亚新移动核心网设备中的一个软件漏洞引发连锁故障,备用系统也被一并拖垮。
Orange负责人称,这次事故极为罕见,十四年来从未遇到类似事件,复杂度也是前所未有的,因此花了很长时间才找到漏洞。
据他解释,该软件漏洞会让设备在收到某种特定错误信息后崩溃,而且每次尝试恢复上线,都会再次崩溃。
更麻烦的地方在于,备用设备跑的是同一套软件,于是也跟着瘫痪了。
5G核心网怎么了?
从Docomo到Orange,故障都落在5G核心网这一环。这让人想起当初业界讨论5G核心网向云原生和服务化架构演进时,就提出过的一些技术挑战。
一是自动恢复不等于业务恢复。Docomo第一次故障后有个信息点值得关注:官方证实底层虚拟化与自动恢复机制在故障期间运行正常,但长达14小时的业务中断仍未能避免。
云原生的自愈机制能够重启或迁移异常实例。可一旦故障出在应用层业务逻辑、信令上下文状态或网络拓扑层,而编排系统又缺乏对复杂电信业务逻辑的精细化修复能力,就可能出现这种局面:基础设施和网络功能自动恢复了,端到端业务却迟迟恢复不了。
二是服务化架构带来的依赖复杂度和故障放大风险。5G核心网把传统网元拆成模块化的微服务,网络功能之间通过服务化接口互相调用。部署、扩容和演进因此更灵活,但服务发现、授权、超时、重试和状态同步等依赖关系也随之增多。某个关键网络功能一旦出现延迟或逻辑异常,就可能引发不断重试,让局部异常级联放大。
三是软件同构与冗余失效。在云原生环境下,主备系统如果运行完全相同的代码与镜像,就共享同一个软件故障域。也就是说,同一个软件漏洞会让主用和备用系统一起倒下,冗余机制彻底落空。Orange这次正是如此。
针对这些挑战,业界也提出了相应的架构优化方案和解法。比如让云基础设施与电信业务逻辑深度协同,建立跨网元的全局编排与资源调配机制,并进一步补齐电信级高性能硬件和专有网络协议方面的短板。
眼下,Orange已确认是共有软件漏洞击穿了主备系统。Docomo披露的首起事故则涉及内存异常、信令重传与设备拥塞,后续事故根因仍未公开。这些还不足以完全证明,业界当年担心的那些挑战已经在现网中发生,但至少给行业敲响了警钟:
虚拟化、自动恢复、主备冗余,这些手段原本都是为核心网的可靠性服务的。可事故真的来了,它们为何没能拦住断网?
行业也因此不得不追问:6G核心网若走的是5G核心网轻量化演进这条路,故障隔离、冗余设计和恢复能力就更该在设计之初被摆到更靠前的位置。