微软全球服务中断复盘:7月埋下的漏洞,如何拖垮近24小时

资讯 网易科技 作者:网易 全文 2351 字 · 约 6 分钟读完 配图 1 张 分类微软

微软全球服务宕机近24小时复盘:漏洞4个月前就埋下,三重因素引发连锁瘫痪

所属频道 大厂动态

一个藏了好几个月的软件漏洞,最后把微软的全球服务拖进了中断。

11月16日,微软执行副总裁Charles Lamanna在X(原推特)上发文复盘,他负责Copilot、智能体及平台业务。按他的说法,软件漏洞、负载上升、服务器容量损失三件事撞在一起,才让微软花了近两天处置这场故障。公司已向客户致歉,也在采取措施避免重演。

微软全球服务中断复盘:7月埋下的漏洞,如何拖垮近24小时(配图 1)

微软全球服务宕机近24小时(视频报道截图)

11月15日,微软就上周这场全球范围的服务中断发布了初步事后调查报告。报告指出,涉事漏洞今年7月就已进入系统,一直没被发现;后来微软调整Teams流量路由,加上部分服务器容量吃紧,漏洞被激活。再往后,自动化流量转移机制把故障推向更多服务器,连锁反应由此形成。

最严重的时候,微软相关网络网关服务器有超过80%无法响应。Outlook、Exchange Online、Teams、Copilot等多项服务都受了影响,中断时间接近24小时。

16日当天,微软(Nasdaq:MSFT)股价收跌1.12%,报每股517.99美元,总市值3.85万亿美元。

常规流程引爆潜伏漏洞,最严重时超80%服务器无法响应

今年7月,微软为Microsoft 365网络网关服务器准备并部署了一项修复程序,结果这次更新反而带进了新的软件缺陷。

在特定负载条件下,该缺陷会让服务器内部进程出现锁竞争(lock contention,指多个线程试图同时访问同一个临界区并产生竞争),把机器的CPU和内存资源耗尽,服务器最终陷入无响应状态。

随后几个月,这项更新逐步铺到全球网络,一直没有引发明显异常。微软的解释是,常规负载测试没能发现它,问题出在实验室测试环境和真实生产环境不一样。

转折出现在11月11日。微软按常规流程调整用户流量路由,系统出了故障。微软称,Microsoft 365内部有两套彼此独立、架构也有差异的网络网关系统;一套发生故障或需要维护时,部分服务可以切到另一套。

11日当天,Teams流量从备用网络网关切换到主网络网关,这是正常运行流程中的一项操作。主网络网关同时还支撑Exchange Online。流量一切换,主网络网关负载上升,流量分布模式也随之改变,服务器更容易触发此前潜伏的软件漏洞。

同一时期,因为前一天发生的一个无关问题,微软网络网关系统有近14%的服务器容量处于不可用状态。

微软强调,单看14%的容量损失,并不足以造成服务中断,网络系统原本还有足够的冗余容量可用。可Teams流量集中切换、服务器负载抬高之后,剩余服务器承受的压力明显变大。

问题一层层叠加,7月更新留下的软件缺陷最终被触发。大量请求开始积压,服务器逐渐失去响应。

更糟的是,微软本来用来保障服务连续性的自动化流量管理机制,反倒把故障放大了。

按常规设计,部分服务器失去连接时,系统会自动把用户请求转到其他健康服务器。可这次事故里,其他服务器同样带着相同的软件漏洞、处在相同的负载条件下。流量一转移,更多请求集中到剩余服务器,它们发生故障的概率进一步升高。

微软称,这个此前没见过的漏洞不到2小时就在整个相关服务器集群里被触发,故障随之在服务器之间扩散,一环扣一环。最严重的时候,八成以上服务器都没法响应请求。

从确认到解决,全球故障持续近24小时

美东时间11月12日上午11时20分,美国企业用户的业务流量达到高峰,微软这时才意识到问题严重。

微软先尝试重启故障服务器、把流量转移到其他基础设施来恢复服务,很快发现行不通:服务器就算重新启动,也会立刻被大量积压请求冲击,再次陷入无响应。另外,原有的自动化恢复机制并不是为这么大范围的服务器失联设计的,处理起来很吃力。

直到11月13日凌晨,微软才找到有效的缓解方案,开发了一项更新,把相关代码恢复到此前已知的正常状态。

按微软报告的说法,11月13日上午亚太地区先一批批恢复,欧洲随后也回到正常水平。当天下午,全球网页版邮件服务回到了预期水平,积压的延迟邮件也开始减少。

到美东时间11月13日上午11时10分,微软确认客户已不再受这起事故的直接影响。从正式确认故障算到用户影响结束,一共持续了23小时50分钟。

微软称已落实多项措施防范后续风险,具体包括扩大服务器容量、强化对流量重定向与连接处理健康状况的监测,并对流量分配施加额外限制,目的是不让类似的连锁故障再度上演。

Lamanna 解释说,微软的测试一般盯着配置偏旧、性能偏弱的系统,看更新会不会把整体架构里的薄弱环节拖垮。可这次弄瘫服务器的漏洞,在算力更强的新硬件上反倒破坏力更大——偏偏就是测试没覆盖到的场景。

这起宕机一度波及全球。故障监测网站 Downdetector 的数据显示,美国东部时间11月12日下午1时前后,Outlook 相关故障报告一度逼近13万条;大约一个小时之内,报告覆盖了74个国家和地区。据央视新闻,当地时间11月13日,微软就这起影响数百万用户的全球性服务中断深表歉意。

各方也报告了具体影响:英国国家医疗服务体系(NHS)称故障“不可避免地”干扰了工作人员,但各项预约服务仍照常进行;一些学校要求家长改用电话联系;美国联邦政府及法院系统同样报告出现相关问题。

中信证券研报认为,订阅制模式加上较高的客户迁移成本,使单次宕机对微软业绩的冲击有限,但 AI Agent(智能体)普及会进一步抬高对云服务可靠性的要求。产业层面,这次事件再次暴露企业 IT 基础设施集中依赖的风险,系统运维监控、多云容灾、身份安全及数据恢复等需求有望随之增长。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 微软全球服务中断近24小时:7月埋下的漏洞,三重因素引发连锁瘫痪

    一项潜伏数月的软件漏洞,最终引发微软全球范围的服务中断。11月16日,微软负责Copilot、智能体及平台业务的执行副总裁Charles Lamanna在X(原推特)平台上总结道,软件漏洞、负载增加和服务器容量损失,三个问题同时发生,最终让微软陷入了一场持续近两天的故障处置。公司向客户致歉,并正在采取措施防止类似事件再

    来源 腾讯网
  2. 微软全球宕机30小时,AI替代员工裁到大动脉?

    微软最近两年把它当作亲生儿子培养,裁员节省下来的预算,大量投入到它身上,可是它干活必须读取用户的邮件、日历和文件,这些数据全部存放在那套老旧的邮件系统里面,老旧系统一旦停摆,AI 立刻两眼一抹黑。

    来源 凤凰科技
  3. 微软三个月前的补丁,把74个国家和地区全整崩了

    彦祖们应该都听说了:微软这两天大宕机! 故事从北京时间 13 号凌晨说起,一大批美国用户突然发现,自己怎么也连不上 Outlook 邮箱。 Outlook,就是微软的办公软件,里面除了邮箱,还包含了日程管理、会议邀请等功能。国外大部分公司和政府机关,上班都是用 Outlook 沟通。 起初,大家还在网上发帖问怎么了。

    来源 AI 行业观察
  4. 黄仁勋或重回英伟达任CEO,苹果智能眼镜明年6月见

    · 余承东:华为大折叠已成千万人主力机 · 苹果 HomeView 发售,首批实测遇到语音和账户切换问题 · 微软服务故障持续超 30 小时,官方宣布恢复 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

    来源 AI 行业观察
  5. 微软全球大宕机,AI 怎么又成了背锅侠

    微软 Microsoft 365 故障导致德国酒店泳池安全警报未能及时送达,美国 FAA 和 Workday 也接连发生系统异常。三起事故没有共同技术原因的证据,却引发了对 AI 编程、工程师系统理解能力与复杂系统可靠性的讨论。

    来源 爱范儿
  6. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  7. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  8. FBI警告Artex等AI黑客工具:不到3小时即可拿到网络特权

    美国联邦调查局在最新网络安全快速通报中警告,黑客正利用Artex等开源自主AI黑客工具发动攻击,部分攻击从锁定系统到完成入侵不到三小时。通报称,韩国多家金融机构因缺乏多因素认证等基础防护被攻破,至少6.8万人个人数据被盗;微软此前披露攻击者利用该工具入侵ConnectWise,进入至少2250家客户的微软365云环境。

    来源 凤凰科技
  9. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  10. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  11. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  12. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
向下滚动自动加载更多