微软高管解释 Microsoft 365 服务为何全球宕机:三重故障引发连锁反应,击垮 80% 服务器
IT之家 11 月 16 日消息,当地时间 11 月 12 日,微软旗下 Microsoft 365 多项核心云服务发生大规模故障,导致 Outlook、Exchange Online、Teams、SharePoint 等在全世界范围宕机,数百万名用户超 12 小时无法访问电子邮件。 今天微软发布了此次事故的初步报告。
-
今年7月,微软在修
Microsoft 365 网络网关的毛病时,自己引入了一个软件缺陷。这个漏洞会让服务器进程出现锁竞争(Lock Contention),碰上特定工作负载就失去响应。可这套带缺陷的软件照样通过了微软的常规测试,几周内推到了全球各地,一路都没出岔子。事后微软查下来,问题出在测试环境上:当时用的多是型号偏旧、性能偏弱的 CPU 和硬件,而核心数更多的新款服务器反而更容易把这个漏洞触发出来。 -
大规模故障爆发前几个小时,微软把 Teams 流量从备用网络网关切到了主网络网关。这个网关同时还扛着 Exchange Online 的流量,调整的目的是保证 Teams 正常跑。切换本身是微软基础设施的常规故障转移动作,但它把 Exchange Online 主网关的负载抬了上去,流量分布也跟着变了。
-
偏偏前一天还有一起不相干的问题,让网络网关约 14% 的服务器容量没法使用。彼时剩下的 86% 容量,应付正常工作负载还是够的。
-
三个问题凑到一起,服务中断就发生了。Teams 流量增加,加上服务器容量减少,一起把那个一直没被发现的软件漏洞引爆了。
-
服务器一旦无响应,微软的基础设施会自动把流量转到运行正常的机器上。结果这套机制反倒把局面搞得更糟:服务器收到大量转发流量后负载上升,同一个软件漏洞又被触发,越来越多的服务器像连锁反应一样倒下。不到两小时,故障就扩散到了微软 80% 的网络网关服务器。
-
按惯例,微软会用独立的容量分区和区域把这类故障的影响圈住。但这回另一个问题让这些保护机制失了效,连锁故障没被拦住,最终蔓延到全球。