Anthropic 用 Claude 做上线前混沌测试
Claude Docs 上线前,团队让 Claude 在与生产环境相近的预发布集群持续运行两周,每天生成逾百万份合成文档,并主动让核心组件失效。文章称,上线后服务处理约 20 亿次请求,只记录到 60 次服务器错误,期间未回滚。
AI 深度解读
Claude Docs 上线前三周,还只是一个跑在单节点上、供 Anthropic 内部几千人使用的原型。团队预计上线几天内会出现数百万份文档,于是让 Claude 在预发环境里连续两周压测、制造故障、读监控、改代码,再用同一套测试验证修复。
到 9 月 22 日,用户已创建超过 460 万份文档,服务在 20 亿次请求中出现了 60 次服务端错误。比上线数字更值得看的是,团队怎么让 Claude 查明一次内存暴涨的原因,以及哪些改动必须由人拍板。
两周里,Claude 每轮到底做了什么
9 月 4 日,工程师 Vivek Nair 让 Claude 接手一套尽量贴近生产的预发集群,每天生成超过 100 万份合成文档,并主动给关键组件制造故障。一个 Claude Code 会话负责协调,最忙的一周通常有约 11 个子代理同时运行,峰值为 30 个。协调代理还通过 Slack MCP 使用内部版 Claude Tag,请其他基础设施团队的代理帮忙核对扩容方案,看看有没有踩过的坑。
每轮先选一个功能,比如创建文档,持续加压直到碰到容量瓶颈。Claude 通过 Datadog MCP 读取监控数据,给出几个处理选项和一条推荐。改动容易撤销时,它可以写代码、部署到预发,再跑同一个场景。遇到数据库 schema、键布局或文档存储方式的变更,流程就暂停,等人决定。
他们演练过单日新建 1000 万份文档、22,000 条在线连接同时重连,还把几个故障叠在一起。一份热门文档有数百人同时查看,服务器在加载文档时被终止,数据库也发生停顿。整个过程有两条硬要求。历史再长的文档也要接近秒开,服务端一旦确认收到编辑,测试就得证明这笔编辑仍在。后一条决定了即使重连成功、页面也打开了,这轮测试仍要检查用户刚才写进去的内容。
一份文档怎么从 3 GB 降到约 180 MB
团队给服务的每项操作都加了可观测性数据。每条数据库查询会报告查询名称、扫描行数和返回行数。Claude 看到某条查询扫了大量数据却只返回少量结果,就有了回到代码里排查的线索。碰到现有指标解释不了的现象,它也会自己补埋点。
早期压测中,一份大文档在所在 Pod 上占了约 3 GB 内存。Claude 第一次尝试缩小服务自己的缓存,让文档更早被淘汰。下一轮压测显示,内存其实占在某个依赖内部的另一份缓存里,Claude 撤掉了这次改动。更细的内存分析发现,每敲一次键,文档就会被复制进几个数据结构,增加几 MB。最终改用写时复制(copy-on-write),让这些结构先共享一份数据,需要修改时再复制。
迭代约三天后,这份文档的内存峰值降到了约 180 MB,团队对上线所需内存优化型 Pod 的估算也从 500 多个降到约 50 个。服务用 Rust 编写,没有垃圾回收器,团队可以把内存用量追到具体的数据结构。他们还尽量少引入依赖,把确实需要的依赖源码纳入仓库,方便一起阅读和测量。作者明确说过,团队没做 Rust 和 Go 的对照测试。
上线时,演练和长时间运行各帮了什么忙
Claude Docs 在 9 月 16 日上线,约 30 小时就有了第一批 100 万份文档,服务实际运行在约 50 个内存优化型 Pod 上。预发演练的 10 个场景里,有 7 个在上线周出现在生产环境。团队事先把修复放在运行时开关后面,基础设施遇到压力时,通常切一下开关就能启用对应改动。整个 9 月,他们做了 629 次生产部署,回滚次数为零。
作者用的是一个大致相当于 Claude Fable 5.2 的内部研究模型。据他观察,旧模型同样能通过 MCP 读监控,但跑到第 10 到 20 轮时,就可能忘记当前在优化什么,需要人重申目标。新模型经历多次上下文压缩,仍然记得两条硬要求。原文还提到 Vercel 用类似的人工监督循环优化 Turborepo,最高提速 96%。两个案例的任务不同,能直接对照的是做法,即让代理反复修改,再用测量结果决定是否保留改动。
我的判断
这篇最扎实的证据是那份大文档的内存排查。第一版修复有个听起来合理的解释,复测很快推翻了它,补充分析才把问题定位到每次按键都在复制文档。普通团队用现有的压测脚本、性能分析工具和人工复测,也能沿这条路径找到问题。代理能省多少人力,原文没有给出对照数据。Rust 更便于代理量内存,也是作者基于自家服务和工具链的经验。对已有 Node 服务的团队,更直接的比较是现有指标能否把内存上涨追到某次操作或某个依赖。
成本也要拆开看。按 2026 年 11 月 Claude Fable 5.2 的 API 标价折算,作者从 8 月底到上线日的推理用量约值 12.5 万美元,主要花在读监控、写方案、生成修复和审查代码。他估计,几年前同等规模的工作要一个工程团队做约半年,熟悉流程后推理成本也许能减半。对于只有几个 Kubernetes 节点和一个 Postgres 实例的小服务,他剔除内部系统对接、客户端和产品工作、多 Pod 协调及细粒度限流后,发现大约三分之一的改动仍适用。两周 3,000 到 10,000 美元是据此推算的预算,作者没有在小团队环境里实测。
能拿来做什么
- 给协同编辑的压测加一条端到端断言。写入一段能唯一识别的内容,等服务端确认,再触发重连并重新打开文档,检查这次编辑是否还在。把长历史文档的打开耗时一并记录下来。
- 让 Claude Code 先通过监控供应商的 MCP 读一轮预发数据。以 Node 服务为例,可以给创建文档、加载历史和保存编辑分别记录耗时和错误,再关联实例内存及数据库查询数据,让下一轮压测能验证具体假设。
- 先用单代理跑通一个场景,例如高峰期发布或连接集中重连。原文建议在预发用真实流量的 10 倍做演练。起步时可以先找出当前容量拐点,修复后用同一负载复跑,再逐步加压。
- 在开跑前写明哪些改动代理可以部署到预发,哪些必须暂停。遇到 schema、键布局或存储格式变更,让代理给出选项、推荐方案和复测结果,由人决定。