微软全球宕机调查:漏洞潜伏四个月,15小时才锁定问题
微软全球服务宕机调查:一个潜伏四个月的漏洞,15小时才发现问题所在
一个在微软系统里藏了整整四个月的安全漏洞,上周把全球服务搅得天翻地覆。这起事故也让外界看清:把身家性命押在单一科技供应商身上,风险有多大。
事情要从11月11日的一次例行流量调配说起。一直到第二天上午11时30分,也就是美国企业流量最高峰的时段,微软才反应过来问题有多严重。
接下来,公司又花了约15小时排查故障、部署修复方案,大批企业和政府客户的工作就此停摆。最严重的时候,Outlook后台超过80%的服务器没有响应,Teams的视频会议邀请凭空消失,员工只能靠电话和纸笔撑住工作。微软负责职场软件业务的执行副总裁Charles Lamanna周一在X平台发文,就这次宕机正式道歉。截至发稿,微软周一盘中下跌1.2%。

一次例行操作,炸出一连串崩溃
根据微软发给客户的初步报告,这个漏洞今年7月就已经藏进公司数据中心,一直没被揪出来。
引燃事故的是11月11日纽约时间晚8时许的一次自动流量切换:Teams视频会议和即时通讯服务的流量,被自动转到另一组服务器上,而这组服务器同时还在承载Outlook的流量。
偏偏本周早些时候另一个独立问题已经让部分服务器损失了容量,双重压力之下,那个潜伏的漏洞被触发——流量骤增后,服务器内存耗尽。问题很快扩散开来。微软的自动化容灾系统把流量和邮件转移到它认为"健康"的其他服务器,结果把同一个漏洞也带了过去,形成连锁失效。
从最初零星的故障,到微软确认问题全面爆发,前后约15小时;之后公司又花了约15小时,才开始推送修复方案。
自动化系统"帮倒忙",修复一波三折
这次宕机持续的时间,比同类事故通常的数小时长出太多。微软面向使用Microsoft 365产品的技术人员发布的详细时间线显示,原本用来维持服务稳定的自动化机制,反倒给这场连锁崩溃踩了油门。
恢复上线的服务器被积压的待处理流量一拥而上,再次过载失效,修复进程就这么陷进循环。加上漏洞已在系统里潜伏数月,靠回滚近期更新来稳住系统的常规办法也失灵了,恢复被进一步拖长。
实验室测试没能模拟真实环境
Charles Lamanna解释了漏洞为何能长期潜伏、躲过测试流程。微软在向外部大规模部署系统变更之前,会先在实验室环境和小范围网络里做测试,这是大型互联网服务公司的标准做法。
这次漏洞没被拦住,原因在于实验室里模拟的流量模式和硬件配置,跟服务器在真实环境中遇到的条件对不上。
Lamanna指出,微软的测试通常盯的是配置较旧、性能较弱的系统,看更新会不会压垮整体架构里的薄弱环节。可这次让服务器宕机的漏洞,在处理能力更强的新型硬件上破坏力反而更大——恰好是测试忽略的场景。