微软365故障复盘:流量转移放大锁竞争
微软初步报告称,潜伏的锁竞争缺陷叠加网关容量损失和Teams流量迁移,引发全球服务中断,自动转发进一步扩大故障。测试环境硬件较旧,未暴露新型多核服务器上的触发条件,分区隔离机制也未能阻断传播。
AI 深度解读
Microsoft 365 这次大规模故障,并不是某次发布后立即爆雷。按照微软的初步说明,一个 7 月引入、已在全球运行数月的软件缺陷,被流量切换和容量损失共同触发,随后自动转发机制又把局部故障扩大了。
对程序员来说,最值得读的不是「大厂也会宕机」,而是这条事故链:测试通过、正常负载够用、自动故障切换,这些单独看都合理的条件,为什么组合起来仍会失守?
三个问题怎样撞到了一起
据 IT之家 11 月 16 日报道,当地时间 11 月 12 日,Microsoft 365 多项核心云服务发生大规模故障,涉及 Outlook、Exchange Online、Teams、SharePoint,数百万名用户超过 12 小时无法访问电子邮件。
微软高管 Charles Lamanna 在 X 上解释,事故的起点可以追溯到 7 月。当时微软修复 Microsoft 365 网络网关问题,却引入了一个软件缺陷:特定工作负载会导致服务器进程发生锁竞争(Lock Contention),进而无法响应。锁竞争就是多个执行任务争抢同一把锁,部分任务只能等待;具体是哪把锁、为何最终无法响应,原文没有展开。
这个缺陷没有立刻造成事故。包含缺陷的软件通过常规测试,随后用数周部署到全球,期间没有出现问题。
到了故障发生前,另外两个条件凑齐了:
- 前一天的一起无关问题,让网络网关约 14% 的服务器容量不可用,剩余 86% 仍足以处理正常工作负载。
- 故障发生前几个小时,微软为确保 Teams 正常运行,把它的流量从备用网络网关转移到主网络网关。主网关同时处理 Exchange Online 流量,因此负载和流量分布都发生了变化。
正常负载下容量够用,不等于流量切换后系统仍然安全。
按照微软的初步判断,容量减少与 Teams 流量增加,共同触发了此前潜伏的软件缺陷。这里不能简化成「少了 14% 容量,所以系统过载」:原文明确说剩余容量能应对正常工作负载,问题还涉及流量分布与缺陷触发条件。
自动转发为什么把故障越救越大
服务器失去响应后,基础设施会自动把流量转给健康服务器。这通常是维持服务可用性的办法,但这次接收流量的服务器也运行着同样的软件。
它们接到额外流量,负载上升,再次触发相同缺陷,随后又把流量转移出去。可用服务器越来越少,剩余服务器承担的压力越来越大,形成连锁故障。不到两小时,影响就扩散到了微软 80% 的网络网关服务器。
这里的 80% 指网络网关服务器,不能扩大理解成微软全部服务器的 80%。
常规设计还有一道防线:通过独立容量分区和区域限制故障范围。但微软表示,另一个问题使这些保护机制未能阻止连锁故障,最终影响扩散至全球。
原文把事故概括为三个问题共同触发,但区域隔离为何失效,是解释全球扩散还需要补齐的一环。它是什么问题、与流量转发如何关联,目前没有技术细节。
我的判断
我认为最有价值的提醒,是测试环境的代表性。
微软称,测试主要使用较旧、性能较弱的 CPU 和硬件,而这个缺陷在核心数更多的新型服务器上更容易触发。硬件更强,并不保证并发问题更少。更多任务同时执行,可能暴露旧环境中难以出现的竞争条件。不过,这只是一般性的解释,原文没有提供线程模型、锁实现或复现数据,无法据此还原具体机制。
第二个提醒,是故障切换必须考虑接收方的承载能力。自动转发能够处理部分节点失效,却也可能把相同的触发条件送到更多节点。限流、负载丢弃和更严格的分区隔离,是可以拿来比较的保护手段,但报道没有给出对照实验,不能断言加上其中某一项就能避免事故。
这份初步说明解释了事故链条,还没有证明每一处防线为什么失效。
微软计划在报道所称的「本周晚些时候」发布详细报告。目前缺少各阶段流量、容量余量、锁竞争指标和隔离失效细节。这也不是一篇作者亲自复现实验的技术报告,而是 IT之家对微软说明的转述,结论应保留这个边界。
能拿来做什么
- 为 Node 服务或网关做压测时,把生产环境的 CPU 核心数、实例配置和并发分布纳入测试矩阵。低配机器上测过,不能直接替代生产配置上的验证。
- 演练故障切换时,同时模拟部分容量不可用和流量迁入,检查接收方的负载、延迟与错误率,验证流量是否能真正被接住。
- 检查自动转发策略在连续节点失效时会怎样运行,明确何时限流、拒绝请求或停止继续转发,并用演练验证这些边界。
- 阅读后续事故报告时,重点追踪锁竞争的触发条件与区域隔离失效原因。这两处细节,决定了哪些经验能迁移到自己的系统。