微软初步复盘宕机中的流量调度连锁故障
微软初步披露,潜伏数月的软件缺陷、独立故障造成的容量损失与流量突增叠加,引发大规模服务中断。自动调度把负载转向剩余服务器,进一步扩大故障,微软随后回退代码并强化了流量分配保护。
AI 深度解读
微软上周的全球服务中断波及多项业务,持续时间也远超以往。11 月 17 日,微软 CEO 纳德拉在 Ignite 大会上谈及事故,承诺吸取教训、改进服务可靠性。微软的初步复盘指向三件事叠加:一次独立故障让服务器容量先掉了一截,流量突然上涨,潜伏数月的漏洞也在此时暴露。
对做前端和全栈的同学来说,这起事故最值得看的,是流量管理系统当时做了什么。它把请求转给还在线的服务器,结果剩余节点也接连失去响应。
7 月上线的补丁,为什么几个月后才出问题
按微软执行副总裁查尔斯·拉曼纳的说法,漏洞来自 7 月上线的一次 Microsoft 365 服务器修复补丁。补丁在随后数周逐步推向全球,期间未出现异常。微软周日发布的初步报告认为,这个潜伏了四个月的漏洞可能是事故的诱因之一。
逐步发布能观察补丁在当时的运行条件下有没有异常。这次事故里的条件后来变了。一个独立故障先让微软 14% 的服务器容量离线,接着遇上流量激增,潜伏漏洞也在这一过程中起了作用。初报没有交代触发漏洞的具体条件,单独复现其中一个因素会出现什么结果,目前也不清楚。
自动转移流量,为什么反而扩大了故障
部分服务器失效后,微软的流量管理系统自动把负载转给仍正常运行的服务器。这个动作能否稳住服务,取决于接收流量的一侧还有多少余量。节点还在线,只说明它此刻还在工作。转来的请求一多,如果接收节点也失去响应,下一轮就只剩更少的服务器分担负载。
按微软披露的数字,周四最严重时,超过 80% 的服务器无响应。前面的 14% 说的是独立故障造成的容量离线比例,这里说的是最严重时的服务器无响应比例,两组数字的口径不同。
微软已经改了什么,还有哪些问题待回答
微软称已回退代码、增加基础设施容量、强化监控,并完善流量分配的保护措施。代码回退针对补丁带来的风险,扩容和流量保护则针对剩余节点接不住请求的问题。初报没有披露具体的分流和限流规则,也没有公开改动后的验证结果。
事故恰逢微软加大 AI 投入。微软表示 AI 并非此次故障的诱因。按报道当时的安排,完整事后复盘要到本周晚些时候才发布。
我的判断
这起事故给灰度发布补上了一个实际问题:节点减少、流量上涨时,同一份代码还能不能扛住?微软此前做了持续数周的渐进发布,异常仍然潜伏了四个月。按初报给出的事故链条,除了看新版本在日常流量下的错误率,还应验证容量下降时会发生什么。
扩容可以给流量转移留出余量,限流和降级则决定余量用完后还能保住哪些请求。原文没有提供对照压测、保护阈值或改动后的恢复数据,无法据此判断哪项措施收益最大。对普通团队来说,更有参考价值的是把两种手段放在同一个故障场景里验证。
能拿来做什么
- 给 Node API 加一轮组合压测。在测试环境先摘掉部分实例,再提高请求量,同时观察剩余实例的并发数、错误率和尾延迟,确认流量转移会不会让更多实例失去响应。
- 检查网关或负载均衡器的转发策略。验证剩余实例接近并发上限时,系统能否限制新请求、优先保住核心接口。
- 检查前端请求失败后的行为。给自动重试设上限并加入退避,对可以独立降级的模块显示局部错误,避免一个接口超时触发整页重复请求。