用 AI 搭建端到端故障测试工具
作者借助大模型搭建了三套专项测试工具,补充日常测试。文中举例,在浏览器通过 S3 预签名 URL 批量上传最多 100 个大文件时,主动注入 S3 停止响应等故障,检验上传链路的可靠性。
AI 深度解读
用 LLM 写代码之后,作者把一部分省下来的工夫花在了验证上。他在常规的 vite、jest、pytest 测试之外加了 3 套测试装置,原文详细写了其中两套:一套让浏览器批量上传大图时遇到故障,另一套让后台的相册处理流程卡住,再看它能不能恢复。
这两套测试都围绕一个问题:请求已经发出,流程却只走到一半,接下来谁负责把它走完?如果你维护过批量上传、重试按钮或后台任务,这个问题比再补几个成功用例更贴近日常踩的坑。
一次上传最多 100 个大文件,断在半路怎么办?
作者的应用允许用户把大图直接传到 S3,之后再加入相册。浏览器用预签名 URL 发出 PUT 请求,可以在授权有效期内上传对应文件。一批文件传得久,用户可能切换窗口或关掉浏览器,网络也可能变慢,存储服务还可能暂时失去响应。
作者用 Playwright 操作真实页面上的文件输入、图片网格和重试按钮,接上真实后端与 S3 兼容存储,保留完整的上传链路。他在一次最多 100 个大文件的上传中注入故障,包括 S3 停止响应、预签名 URL 过期或失败、事务只超时一次、事务耗尽重试次数、响应丢失以及人为增加延迟。关窗口和切换窗口是作者提到的真实使用场景,原文没有交代它们是否写进了测试。
单独测一个 PUT,能看到请求成功或失败。走完整条链路,还能追问:如果图片已经写进存储,浏览器却没收到响应,页面上的重试会怎样影响分批提交、上传确认、Celery 任务和数据库?这套装置慢,作者把它留在 CI 之外,改到上传链路附近时再跑。
单张照片的任务挂住,相册还能继续生成吗?
后台先逐张分析照片,再汇总结果做相册级分析和聚类,组好相册后交给 LLM 生成简介。如果某个子任务迟迟没结束,后面的汇总阶段可能一直等下去。
作者在 Docker 里启动用完即弃的 Postgres 和 Redis,运行生产使用的 Celery 应用及其 worker,给 100 张照片发起任务。测试随机注入操作前报错、操作后报错、延迟、挂起和子进程退出。流程卡住后,由 Celery Beat 的定时恢复机制推动任务继续,目标是在部分数据不完整的情况下也能做完。
这里测的是任务之间怎么交接:消息能否送达,失败后能否安全重试和重发,chord 能否在一组任务结束后触发汇总,以及阶段锁和恢复机制能否配合。单个任务的单测可以检查它怎样处理异常。要看汇总阶段会不会一直等,以及恢复之后能否继续,就得让多个任务和真实依赖一起跑。这套测试也没有进 CI。
我的判断
原文最有说服力的是故障选得具体。比如「操作后报错」和「响应丢失」都可能让调用方看到一次失败,而系统实际已经做了一部分工作。只 mock 一个接口返回失败,能快速覆盖错误提示和重试分支。要检查重试过后各处状态是否一致,真实链路更贴合这个问题。两种测试各有合适的断言,没必要把所有错误分支都搬到慢测试里。
作者描述了自己搭建并运行的装置,但没有给出耗时、抓到过的回归数量,或与原有测试的对照数据。LLM 让他这个独立开发者有余力搭起来,属于经验之谈。「用不完整的数据也要做完」也是业务取舍,原文没有说明缺多少仍算成功。相册若允许带着部分结果生成,就得把这个边界写进验证条件,否则跑到最后一步也只能证明流程结束了。
能拿来做什么
- 给批量上传补一个「对象已写入、客户端没收到响应」的 Playwright 用例,通过真实界面点击重试,然后同时核对图片网格、上传确认和数据库记录。
- 给后台相册流程补一个子任务挂起的场景,让 Celery Beat 接手,明确断言汇总是否继续、同一阶段是否重复执行,以及缺少部分结果时流程应当停在哪一步。
- 让 LLM 帮忙搭故障注入和临时依赖环境,自己先写清每种故障发生在哪一步,以及最终要核对哪些状态。保留日常的快速测试,改到上传、重试或任务编排时再跑对应的慢测试。