微软补丁引发全球宕机:74个国家和地区受影响,损失约70亿美元
彦祖们应该都听说了:微软这两天大宕机! 故事从北京时间 13 号凌晨说起,一大批美国用户突然发现,自己怎么也连不上 Outlook 邮箱。 Outlook,就是微软的办公软件,里....
微软这两天的宕机事故,想必不少人都已经听说了。
事情要从北京时间 13 号凌晨讲起。当时一批美国用户发现,Outlook 邮箱怎么也连不上了。Outlook 是微软的办公软件,功能不止邮箱,还包括日程管理、会议邀请这些,国外多数公司和政府机关的日常沟通都靠它。
一开始,大家还在网上发帖打听出了什么事。可 Outlook 这边还没恢复,微软的
之后人们去监测故障的网站查看,才发现——全球市值第三的微软居然崩了?
按理说,这种体量大厂的核心业务不该崩。就算真崩了,也该很快抢救回来,对吧?
可事实是,微软的服务一直到 14 号凌晨才彻底恢复。
那这 24 小时里,全球打工人被影响成什么样了?
工作效率差不多倒退 20 年。英国有几百家医院重新用起了纸质病历,不少手术还被临时取消。
原因是英国国家医疗服务体系(
NHS
英国法院系统平时也靠 Outlook 收发邮件,民事案件的判决同样通过邮件发出。邮箱一挂,判决结果只能推迟到下周一宣布。
受害法院之一↓
日本同样没能幸免。日本数字厅给各部门搭建的政府共通平台
结果各部门的 Outlook 收发不了邮件,最后只能靠电话、短信办公。全员回到 90 年代,复古 Y2K 风就这么刮起来了。
美国研究机构估计,这次微软造成的损失大约在 70 亿美元。
受影响的人一多,网友的梗图也跟着来了,反正看热闹不嫌事大。
有人发了一张 Microsoft 364 的图片,什么;还有人喊微软必须改名,别问,问就是规矩。
另有网友贴出一张 NASA 控制中心的照片,一屋子工作人员抱在一起欢呼:微软 Outlook 挂了,而且今天是周五。
对不少上班族来说,周五一早邮箱打不开,周末确实就像提前开始了。
那问题就来了,微软这次捅出这么大篓子,究竟是怎么回事?
起初微软把矛头指向一个负责检查服务器健康状况的组件。直到昨天(16 号)初步事故报告出炉,外界才弄明白真正的原因。
看完报告只能说:这回真不是黑客干的,微软是自己把自己搞了。
微软 365 的邮件走一道网关,而这道网关微软备了两套,一套主用、一套备用。
每套网关背后都是一大批服务器,用户先过这道闸,再被分配到后面对应的服务上。
出事之前,邮件流量走的是主网关。偏偏这次出问题的就是主网关。
按照微软官方的说法,酿成事故的伏笔一共 3 个。
第一个伏笔要回到 7 月份:微软给网关服务器打了一个补丁,补丁里藏着一个缺陷,它会让服务器一个内部程序出现「
锁竞争
结果就是,这个缺陷在 CPU 核心越多的服务器上发作得越厉害。
偏偏微软做压力测试时用的基本是核心少的机器,自然测不出毛病。这个补丁于是就在全球网关上安然无恙地跑了三个多月。
第二个伏笔,是事故发生前 15 个小时的一次切换。
Teams
第三个伏笔出现在事故前一天:因为另一个不相干的问题,主网关有 14% 的服务器还处于关闭状态,正在慢慢恢复。
三个伏笔凑到一块:主网关本来就有 14% 的服务器关着,剩下的机器越扛越忙,直接触发了
接下来微软的保护机制反倒帮了倒忙——哪台服务器卡死,系统就自动把它上面的用户挪到主网关里其他还正常的机器上。可大家都有问题,流量转到哪,哪就跟着卡死。
不到两小时,超过 80% 的主网关服务器全趴下了。
更麻烦的是,网关里原本设了隔板,用来防止一处故障蔓延到别处。可这些隔板又因为另一个问题没能挡住,故障就这么一路扩散到全球。
这时候,两套网关的设计派上了用场。
Teams
说实话,微软这一条条伏笔解释下来,我是看明白了。不过要差评君说,是不是还有一个最大的伏笔你们没提呢。
事情到这儿还没完。
微软发现异常后立刻着手重启服务器,可刚拉起来,积压的流量又把机器压垮了。
用户就这样被反复折腾,一轮接一轮。
这情形像极了小时候停电:电力局抢修半天,来电那一刻家家开空调,电立马又跳了。
缺陷是几个月前埋下的,快速回滚不管用。微软最后把那段代码改回旧版本,再分批重启,服务才一点点恢复。
赔偿方案微软尚未公布,但按合同大概率要赔。
依据微软与企业签订的
本次邮件中断近24个小时,按月30天折算可用率96.7%,对应退还半个月邮件服务费。
假设你经营一家100人的公司,使用的是
就这点赔偿,还得企业自己跑去申请。
云厂商一贯如此:平时把SLA里几个9的可用性说得天花乱坠,真崩了只抵扣一点服务费。
TMD 耽误了人几十辆
看到这里有人会问:企业为何不准备备用方案?全押在微软一家身上,岂不太受制于人。
其实不是不想换,是大多数企业根本换不动。
微软要卖给用户的,从来不只是一个邮箱。
企业一旦用上微软邮箱,为省去多平台切换的麻烦,往往会顺势把日历、聊天、会议、云盘这一套全用起来。
整家公司的工作流,就这样被微软越绑越深。
这恰恰是微软最想要的结果
当年
等企业回过味来,意识到不能完全绑死在一家服务商身上,通常已经晚了。
想换就得换掉整套体系:逐项找替代品,把员工资料全部迁移,再教大家上手新工具。
更关键的是,未必找得到比微软更合适的服务商。小的不够稳,大的如谷歌,也不过是从一个篮子换到另一个篮子。
再看微软的市场份额,你的甲方乙方多半都在用它,换了反而更难对接,最后只能跟着用。
平心而论,微软底层的保护措施做得并不少。
可只要全球这么多企业仍把身家押在微软一家身上,人类的容错率就高不了。
一家公司出问题,半个地球都跟着遭殃。
可事情已经走到这一步,似乎也没有别的选择。就像互联网,如果一开始就建在一根针尖上,那往后也只能继续在这根针尖上盖下去。