微软全球服务中断复盘:7月埋下的漏洞,如何拖垮近24小时
微软全球服务宕机近24小时复盘:漏洞4个月前就埋下,三重因素引发连锁瘫痪
一个藏了好几个月的软件漏洞,最后把微软的全球服务拖进了中断。
11月16日,微软执行副总裁Charles Lamanna在X(原推特)上发文复盘,他负责Copilot、智能体及平台业务。按他的说法,软件漏洞、负载上升、服务器容量损失三件事撞在一起,才让微软花了近两天处置这场故障。公司已向客户致歉,也在采取措施避免重演。

微软全球服务宕机近24小时(视频报道截图)
11月15日,微软就上周这场全球范围的服务中断发布了初步事后调查报告。报告指出,涉事漏洞今年7月就已进入系统,一直没被发现;后来微软调整Teams流量路由,加上部分服务器容量吃紧,漏洞被激活。再往后,自动化流量转移机制把故障推向更多服务器,连锁反应由此形成。
最严重的时候,微软相关网络网关服务器有超过80%无法响应。Outlook、Exchange Online、Teams、Copilot等多项服务都受了影响,中断时间接近24小时。
16日当天,微软(Nasdaq:MSFT)股价收跌1.12%,报每股517.99美元,总市值3.85万亿美元。
常规流程引爆潜伏漏洞,最严重时超80%服务器无法响应
今年7月,微软为Microsoft 365网络网关服务器准备并部署了一项修复程序,结果这次更新反而带进了新的软件缺陷。
在特定负载条件下,该缺陷会让服务器内部进程出现锁竞争(lock contention,指多个线程试图同时访问同一个临界区并产生竞争),把机器的CPU和内存资源耗尽,服务器最终陷入无响应状态。
随后几个月,这项更新逐步铺到全球网络,一直没有引发明显异常。微软的解释是,常规负载测试没能发现它,问题出在实验室测试环境和真实生产环境不一样。
转折出现在11月11日。微软按常规流程调整用户流量路由,系统出了故障。微软称,Microsoft 365内部有两套彼此独立、架构也有差异的网络网关系统;一套发生故障或需要维护时,部分服务可以切到另一套。
11日当天,Teams流量从备用网络网关切换到主网络网关,这是正常运行流程中的一项操作。主网络网关同时还支撑Exchange Online。流量一切换,主网络网关负载上升,流量分布模式也随之改变,服务器更容易触发此前潜伏的软件漏洞。
同一时期,因为前一天发生的一个无关问题,微软网络网关系统有近14%的服务器容量处于不可用状态。
微软强调,单看14%的容量损失,并不足以造成服务中断,网络系统原本还有足够的冗余容量可用。可Teams流量集中切换、服务器负载抬高之后,剩余服务器承受的压力明显变大。
问题一层层叠加,7月更新留下的软件缺陷最终被触发。大量请求开始积压,服务器逐渐失去响应。
更糟的是,微软本来用来保障服务连续性的自动化流量管理机制,反倒把故障放大了。
按常规设计,部分服务器失去连接时,系统会自动把用户请求转到其他健康服务器。可这次事故里,其他服务器同样带着相同的软件漏洞、处在相同的负载条件下。流量一转移,更多请求集中到剩余服务器,它们发生故障的概率进一步升高。
微软称,这个此前没见过的漏洞不到2小时就在整个相关服务器集群里被触发,故障随之在服务器之间扩散,一环扣一环。最严重的时候,八成以上服务器都没法响应请求。
从确认到解决,全球故障持续近24小时
美东时间11月12日上午11时20分,美国企业用户的业务流量达到高峰,微软这时才意识到问题严重。
微软先尝试重启故障服务器、把流量转移到其他基础设施来恢复服务,很快发现行不通:服务器就算重新启动,也会立刻被大量积压请求冲击,再次陷入无响应。另外,原有的自动化恢复机制并不是为这么大范围的服务器失联设计的,处理起来很吃力。
直到11月13日凌晨,微软才找到有效的缓解方案,开发了一项更新,把相关代码恢复到此前已知的正常状态。
按微软报告的说法,11月13日上午亚太地区先一批批恢复,欧洲随后也回到正常水平。当天下午,全球网页版邮件服务回到了预期水平,积压的延迟邮件也开始减少。
到美东时间11月13日上午11时10分,微软确认客户已不再受这起事故的直接影响。从正式确认故障算到用户影响结束,一共持续了23小时50分钟。
微软称已落实多项措施防范后续风险,具体包括扩大服务器容量、强化对流量重定向与连接处理健康状况的监测,并对流量分配施加额外限制,目的是不让类似的连锁故障再度上演。
Lamanna 解释说,微软的测试一般盯着配置偏旧、性能偏弱的系统,看更新会不会把整体架构里的薄弱环节拖垮。可这次弄瘫服务器的漏洞,在算力更强的新硬件上反倒破坏力更大——偏偏就是测试没覆盖到的场景。
这起宕机一度波及全球。故障监测网站 Downdetector 的数据显示,美国东部时间11月12日下午1时前后,Outlook 相关故障报告一度逼近13万条;大约一个小时之内,报告覆盖了74个国家和地区。据央视新闻,当地时间11月13日,微软就这起影响数百万用户的全球性服务中断深表歉意。
各方也报告了具体影响:英国国家医疗服务体系(NHS)称故障“不可避免地”干扰了工作人员,但各项预约服务仍照常进行;一些学校要求家长改用电话联系;美国联邦政府及法院系统同样报告出现相关问题。
中信证券研报认为,订阅制模式加上较高的客户迁移成本,使单次宕机对微软业绩的冲击有限,但 AI Agent(智能体)普及会进一步抬高对云服务可靠性的要求。产业层面,这次事件再次暴露企业 IT 基础设施集中依赖的风险,系统运维监控、多云容灾、身份安全及数据恢复等需求有望随之增长。