微软全球宕机溯源:漏洞潜伏四个月,15小时才锁定
微软一个隐藏长达四个月的系统漏洞,在上周引发了一场波及全球的服务中断事故,暴露出高度依赖单一科技供应商的潜在风险。此次事故始于11月11日的一次例行流量调配操作,直至次日上午11时30分——即美国企业流量高峰期——微软才意识到问题的严重性。此后,公司又耗费约15小时排查故障并着手部署修复方案,导致众多企业和政...
微软一个藏了四个月的系统漏洞,上周把一场全球范围的服务中断捅了出来,也让人看清高度依赖单一科技供应商的风险有多大。
事情从11月11日的一次例行操作开始。
之后微软花了约15小时排查、部署修复,大量企业和政府客户的业务就此停摆。故障最凶的时候,Teams视频会议邀请直接消失,员工只能靠电话和纸笔撑着干活。
微软负责职场软件业务的执行副总裁介绍了相关情况。
一次例行操作,引爆连锁崩溃
微软给客户的初步报告显示,这个漏洞今年7月就已经藏在公司数据中心里,一直没被发现。
导火索是11月11日纽约时间晚8时许的一次操作。
偏偏本周早些时候另一个独立问题已经让部分服务器损失了容量,双重压力之下,那个潜伏的漏洞被触发——流量骤增后服务器出现异常。
问题很快扩散开来。微软的相关系统接连受影响。
从最初零散报障,到微软确认全面故障,前后约15小时;确认之后,公司又花了约15小时才开始推送修复方案。
自动化系统“帮倒忙”,修复工作一波三折
这次宕机拖的时间,比同类事故常见的几个小时长得多。
微软面向使用其服务的客户推进恢复。
重新上线的服务器被积压的待处理流量一拥而上,再次过载失效,修复进程就这么来回打转。
另外,漏洞在系统里潜伏了数月,通过常规手段很难定位。
实验室测试未能模拟真实环境
Charles Lamanna 就此作出说明。
大型互联网服务公司在向外部大规模部署系统变更前,通常会先在实验室环境和小范围网络里测试,微软也是这个做法。
但这次漏洞没被拦住,原因是实验室模拟的流量模式和硬件配置,跟服务器在真实环境里遇到的条件对不上。
Lamanna指出,微软的测试一般盯着配置较旧、性能较弱的系统,看更新会不会压垮整体架构里的薄弱环节。可这次让服务器宕机的漏洞,在处理能力更强的新型硬件上反而破坏力更大——恰恰是测试没覆盖的场景。