微软全球服务中断近24小时:7月埋下的漏洞,三重因素引发连锁瘫痪
一项潜伏数月的软件漏洞,最终引发微软全球范围的服务中断。11月16日,微软负责Copilot、智能体及平台业务的执行副总裁Charles Lamanna在X(原推特)平台上总结道,软件漏洞、负载增加和服务器容量损失,三个问题同时发生,最终让微软陷入了一场持续近两天的故障处置。公司向客户致歉,并正在采取措施防止类似事件再
一项藏了几个月的软件漏洞,最终把微软的全球服务拖进了中断。
11月16日,微软负责
Copilot、智能体及平台业务的执行副总裁Charles Lamanna在X(原推特)上对这次故障做了总结:软件漏洞、负载增加、服务器容量损失,三件事同时撞到了一起,才让微软陷入一场持续近两天的故障处置。公司已向客户致歉,并表示正在采取措施,防止类似事件重演。
此前的11月15日,微软就上周全球范围服务中断公布了初步事后调查报告。报告给出的结论是:一个今年7月就已引入、却始终没被发现的软件缺陷,在微软调整Teams流量路由、部分服务器容量又不足的情况下被触发;随后,自动化流量转移机制又把故障扩散到更多服务器,形成连锁反应。
故障最严重的时候,微软相关网络网关服务器中有超过80%无法响应。Outlook、Exchange Online、Teams、Copilot等多项服务都受到波及,持续时间接近24小时。
16日当天,微软(Nasdaq:MSFT)股价跌1.12%,收于每股517.99美元,总市值3.85万亿美元。
常规流程引爆潜伏漏洞,最严重时超80%服务器无法响应
今年7月,微软为Microsoft 365网络网关服务器准备并部署了一项修复程序。结果这项更新本身,反倒带进了新的软件缺陷。
在特定负载条件下,该缺陷会让服务器内部进程出现锁竞争(lock contention,指多个线程试图同时访问同一个临界区并产生竞争),把机器的CPU和内存资源耗尽,最终陷入无响应状态。
随后数月中,这项更新逐步铺到全球网络,却一直没引发明显异常。微软的解释是,常规负载测试没能发现这个问题,原因在于实验室测试环境与真实生产环境存在差异。
直到11月11日,微软按常规流程调整用户流量路由,系统才出了故障。微软表示,Microsoft 365内部部署了两套相互独立、架构有所差异的网络网关系统,当其中一套发生故障或需要维护时,部分服务可以切换至另一套系统。
11日当天,作为正常运行流程的一项操作,Teams的流量从备用网络网关切换到了主网络网关,后者同时负责支持Exchange Online。流量切换加重了主网络网关的负载,也改变了流量分布模式,服务器因此更容易触发此前潜伏的软件漏洞。
同一时期,由于前一天发生的一项无关问题,微软网络网关系统近14%的服务器容量处于不可用状态。
微软的说法是,14% 的容量损失单独来看不至于让服务中断,网络系统本来还留有足够冗余来顶上。问题在于 Teams 流量集中切换、服务器负载往上走,剩下的机器承受的压力就明显加大了。
问题一层层叠加,7月更新中留下的软件缺陷最终遭到触发。大量请求开始积压,服务器逐渐失去响应。
更严重的是,微软原本用来保障服务连续性的自动化流量管理机制,反过来加剧了故障。
按正常设计,一部分服务器断连后,系统会把用户请求转到其他健康服务器上。可这次事故里,其他服务器身上同样有那个软件漏洞,负载条件也一样。流量一转移,更多请求压到剩余服务器上,它们出故障的概率也就更高了。
于是故障在服务器之间一路扩散,形成连锁反应。微软称,不到 2 个小时,这个此前未知的漏洞就在整个相关服务器集群里被触发。最严重的时候,超过 80% 的服务器无法响应请求。
从确认到解决,全球故障持续近24小时
美东时间11月12日上午11时20分,随着美国企业用户的业务流量达到高峰,微软终于意识到问题的严重性。
微软先是想靠重启故障服务器、把流量转到其他基础设施等办法恢复服务,但很快发现,服务器就算重新启动,也会马上被大量积压请求冲垮,再次陷入无响应。与此同时,原有的自动化恢复机制并不是为这么大范围的服务器失去响应设计的,应付不了当时的局面。
直到11月13日凌晨,微软终于找到了有效的缓解方案,开发了一项更新,将相关代码恢复至此前已知的正常状态。
微软的报告显示,11月13日上午,亚太地区的恢复工作陆续完成,欧洲地区随后也回到正常水平。全球网页版邮件服务当天下午恢复到预期水平,延迟邮件的积压量开始回落。
美东时间11月13日上午11时10分,微软确认客户已不再受到此次事故的直接影响。从正式确认故障到用户影响结束,全程持续了23小时50分钟。
微软称已采取多项措施应对后续风险,包括增加服务器容量、加强对流量重定向和连接处理健康状况的监控,以及给流量分配设置额外限制,防止类似的连锁故障再次出现。
Lamanna 提到,微软做测试时,往往挑配置偏旧、性能偏弱的系统来跑,看更新会不会把架构里最薄弱的环节压垮。可这次引发宕机的漏洞,偏偏在算力更强的新硬件上杀伤力更大,恰恰是测试没覆盖到的情形。这场故障一度蔓延到全球。故障监测网站 Downdetector 的数据显示,美国东部时间 11月12日下午1时前后,Outlook 相关故障报告一度逼近 13万条;大约一个小时之内,报告就覆盖了 74 个国家和地区。
据央视新闻,当地时间 11月13日,微软公司就这起波及数百万用户的全球性服务中断事件深表歉意。英国国家医疗服务体系(NHS)称,故障“不可避免地”给工作人员造成干扰,但各项预约服务仍可照常进行;一些学校已要求家长通过电话联系;美国联邦政府及法院系统也报告出现了相关问题。
中信证券研报就微软这次全球性服务故障的影响指出,订阅制模式加上较高的客户迁移成本,使单次宕机对微软业绩的影响有限,但 AI Agent(智能体)普及后,对云服务可靠性的要求会进一步提高。产业层面,事件再次凸显企业 IT 基础设施集中依赖的风险,有望推动系统运维监控、多云容灾、身份安全及数据恢复等需求增长。