测试通过仍漏检?用故障注入验证断言
一次独立审查发现,隐私检查的测试只证明流程运行,没有验证最终判定是否尝试发布。修复后,团队主动破坏发布步骤确认测试会失败,并核对线上版本与受审源码一致。
AI 深度解读
一个隐私检查即使能定时运行、测试全部通过,也可能没有真正尝试发布检查结果。Mishe 的一次变更评审就发现了这种漏洞:测试证明了检查启动,却没有覆盖最后的发布步骤。
作者的处理很直接:先补测试,再故意破坏发布步骤,确认测试确实失败,最后才交付变更。这件事值得看,因为自动检查能不能被信任,取决于测试是否真的拦得住故障。
测试通过,为什么变更仍被拒绝
Mishe 维护了一组定时执行的自动检查,发布的判定有三种:GREEN、RED 和 UNKNOWN。其中一个检查负责扫描公开文章中的私密信息,为文章是否可信提供依据。
这次,隐私检查的一项变更进入交付流程后,被独立评审拒绝。评审认为,现有测试存在问题:即使检查没有完成职责,它们也可能通过。
问题落在一个具体断点上。某条测试只断言检查运行了,却没有断言最后的结果发布步骤是否真的被尝试执行。即使发布步骤坏了,这条测试仍然可能安静地通过。
测试证明流程启动,不等于证明关键职责得到执行。
原文没有展示测试代码,也没有说明采用了什么测试框架。能确定的是,旧断言漏掉了发布尝试这个关键行为。
故意弄坏一次,才能知道测试有没有用
作者没有只补一条断言就结束,而是做了两步验证。
第一步,修改测试,要求发布尝试确实发生。第二步,故意破坏发布步骤,观察新测试是否失败。结果符合预期,测试捕获了这次人为制造的故障。
这种做法接近变异测试(mutation testing)的思路:主动制造错误,检验测试能否识别它。原文只描述了针对发布步骤的一次验证,没有声称他们运行了完整的变异测试体系。
这里也有一个边界:新测试验证的是「尝试发布」,原文没有说它进一步证明了结果成功送达、被正确保存,或被下游读取。不能把这次修复理解成发布链路已经得到全面验证。
变更在上述验证完成后才交付。随后,他们还把线上运行的检查副本与经过评审的源码进行了比较,确认交付后的版本与评审对象一致。
我的判断
我认可这次处理里最具体的一点:他们用可观察的故障,证明新增测试确实具有拦截能力。相比只看正常路径能否通过,这种验证更能回答「出了问题,测试会不会报警」。
但作者展示的是一个缺陷被发现并修复的案例。原文没有提供误报率、漏报率,也没有给出与其他评审方式的对照数据。因此,它能支持这次修复的合理性,不能证明整套隐私检查已经足够可靠,更不能证明 AI agents 比其他实现方式更可靠。
作者提到,这套系统由 Mishe agents 编写和运行,文章中的公开账号数量也会对照实时账号核验,而非只依赖内部笔记。这个方向有价值:证据应尽量来自实际运行对象。不过,账号核验的具体方法和覆盖范围,原文没有展开。
作者说,一个永远报 GREEN 的检查比没有检查更糟。这个判断的理由很清楚:错误的通过信号会让人放下戒心。至于修复后的 GREEN 能覆盖多少风险,仍要看检查规则和测试范围。
能拿来做什么
- 给 Node 定时任务补测试时,先明确任务的最终职责。如果职责包含发布结果,就检查发布调用是否发生,不能只断言入口函数执行成功。
- 让 AI 编程工具补测试时,要求它说明一种能让测试失败的具体故障,再实际验证。测试通过之外,还要知道它能拦住什么。
- 交付自动检查脚本后,核对线上副本与评审源码是否一致,避免测试验证的是一个版本,实际运行的是另一个版本。