基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 16:11

微软365故障复盘:流量转移放大锁竞争

IT之家#故障复盘#高可用#并发
Editor brief · 编辑速览

微软初步报告称,潜伏的锁竞争缺陷叠加网关容量损失和Teams流量迁移,引发全球服务中断,自动转发进一步扩大故障。测试环境硬件较旧,未暴露新型多核服务器上的触发条件,分区隔离机制也未能阻断传播。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Microsoft 365 这次大规模故障,并不是某次发布后立即爆雷。按照微软的初步说明,一个 7 月引入、已在全球运行数月的软件缺陷,被流量切换和容量损失共同触发,随后自动转发机制又把局部故障扩大了。

对程序员来说,最值得读的不是「大厂也会宕机」,而是这条事故链:测试通过、正常负载够用、自动故障切换,这些单独看都合理的条件,为什么组合起来仍会失守?

三个问题怎样撞到了一起

据 IT之家 11 月 16 日报道,当地时间 11 月 12 日,Microsoft 365 多项核心云服务发生大规模故障,涉及 Outlook、Exchange Online、Teams、SharePoint,数百万名用户超过 12 小时无法访问电子邮件。

微软高管 Charles Lamanna 在 X 上解释,事故的起点可以追溯到 7 月。当时微软修复 Microsoft 365 网络网关问题,却引入了一个软件缺陷:特定工作负载会导致服务器进程发生锁竞争(Lock Contention),进而无法响应。锁竞争就是多个执行任务争抢同一把锁,部分任务只能等待;具体是哪把锁、为何最终无法响应,原文没有展开。

这个缺陷没有立刻造成事故。包含缺陷的软件通过常规测试,随后用数周部署到全球,期间没有出现问题。

到了故障发生前,另外两个条件凑齐了:

  • 前一天的一起无关问题,让网络网关约 14% 的服务器容量不可用,剩余 86% 仍足以处理正常工作负载。
  • 故障发生前几个小时,微软为确保 Teams 正常运行,把它的流量从备用网络网关转移到主网络网关。主网关同时处理 Exchange Online 流量,因此负载和流量分布都发生了变化。

正常负载下容量够用,不等于流量切换后系统仍然安全。

按照微软的初步判断,容量减少与 Teams 流量增加,共同触发了此前潜伏的软件缺陷。这里不能简化成「少了 14% 容量,所以系统过载」:原文明确说剩余容量能应对正常工作负载,问题还涉及流量分布与缺陷触发条件。

自动转发为什么把故障越救越大

服务器失去响应后,基础设施会自动把流量转给健康服务器。这通常是维持服务可用性的办法,但这次接收流量的服务器也运行着同样的软件。

它们接到额外流量,负载上升,再次触发相同缺陷,随后又把流量转移出去。可用服务器越来越少,剩余服务器承担的压力越来越大,形成连锁故障。不到两小时,影响就扩散到了微软 80% 的网络网关服务器。

这里的 80% 指网络网关服务器,不能扩大理解成微软全部服务器的 80%。

常规设计还有一道防线:通过独立容量分区和区域限制故障范围。但微软表示,另一个问题使这些保护机制未能阻止连锁故障,最终影响扩散至全球。

原文把事故概括为三个问题共同触发,但区域隔离为何失效,是解释全球扩散还需要补齐的一环。它是什么问题、与流量转发如何关联,目前没有技术细节。

我的判断

我认为最有价值的提醒,是测试环境的代表性。

微软称,测试主要使用较旧、性能较弱的 CPU 和硬件,而这个缺陷在核心数更多的新型服务器上更容易触发。硬件更强,并不保证并发问题更少。更多任务同时执行,可能暴露旧环境中难以出现的竞争条件。不过,这只是一般性的解释,原文没有提供线程模型、锁实现或复现数据,无法据此还原具体机制。

第二个提醒,是故障切换必须考虑接收方的承载能力。自动转发能够处理部分节点失效,却也可能把相同的触发条件送到更多节点。限流、负载丢弃和更严格的分区隔离,是可以拿来比较的保护手段,但报道没有给出对照实验,不能断言加上其中某一项就能避免事故。

这份初步说明解释了事故链条,还没有证明每一处防线为什么失效。

微软计划在报道所称的「本周晚些时候」发布详细报告。目前缺少各阶段流量、容量余量、锁竞争指标和隔离失效细节。这也不是一篇作者亲自复现实验的技术报告,而是 IT之家对微软说明的转述,结论应保留这个边界。

能拿来做什么

  • 为 Node 服务或网关做压测时,把生产环境的 CPU 核心数、实例配置和并发分布纳入测试矩阵。低配机器上测过,不能直接替代生产配置上的验证。
  • 演练故障切换时,同时模拟部分容量不可用和流量迁入,检查接收方的负载、延迟与错误率,验证流量是否能真正被接住。
  • 检查自动转发策略在连续节点失效时会怎样运行,明确何时限流、拒绝请求或停止继续转发,并用演练验证这些边界。
  • 阅读后续事故报告时,重点追踪锁竞争的触发条件与区域隔离失效原因。这两处细节,决定了哪些经验能迁移到自己的系统。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 IT之家,原文版权归原作者所有。

阅读原文
上一篇
腾讯 Hy4 Flash 主打长上下文与低成本
下一篇
Qwen4-Max 发布,主打长上下文与降本

资讯速览

IT之家 · 2026-11-16 16:11

AI 评分 8.0 / 10

相关标签

#故障复盘#高可用#并发

继续阅读

  • aisync 统一多编程助手规则与协作记录
  • 腾讯 Hy4 Flash 主打长上下文与低成本
  • Qwen4-Max 发布,主打长上下文与降本
  • 跨编程 Agent 记忆服务,真的需要吗
  • 生产级 Agent 该留下哪些审计记录