如何审查 AI 生成的测试是否有效
文章指出,智能体生成的测试即使通过 CI,仍可能漏掉边界值、只检查模拟对象,或把当前实现的输出当作预期。作者介绍开源项目 Veritas,试图追溯测试对应的规格,并说明它能发现哪些缺陷、还有哪些行为未得到验证。
原文暂未完整获取,基于公开信息的快读
当编程智能体把实现和测试一起提交,CI 全绿能说明多少?一位 dev.to 作者用订单折扣举例:满 1000 应减 100,实现却把门槛写成了 > 1000。两条测试分别用了 10 和 2000,都能通过。作者为此开发了开源项目 Veritas,希望追溯每条测试依据的规格,以及它能发现哪些缺陷。
目前能确认什么
这个例子里,金额恰好为 1000 时,函数返回 0,按规格应返回 100。测试覆盖了有折扣和无折扣两个分支,却刚好漏掉了能暴露错误的输入。作者还举了只断言 true 等于 true 的例子,它甚至没有调用被测函数。
Veritas 用 mizchi/mutator 做变异测试(Mutation Testing)。把 > 改成 >= 后,如果原有测试照样通过,就说明这组测试区分不了这两种实现。至于哪种写法符合业务要求,还得回到规格。
Veritas 会从 README、JSDoc、OpenAPI 和导出的 Issue 等材料提取候选规格,再用 TypeScript Compiler API 分析代码和测试之间的关系。从实现推导出的规则只算假设。资料冲突时,工具会保留双方证据并标记冲突,由人确认规格。
我的判断
审查智能体的提交时,我会先拿最容易写错的规则对断言。比如「满 1000」就查有没有直接断言 discountAmount(1000) 返回 100。如果测试只检查模拟对象被调用,还要看是否有断言验证实际返回值或状态变化。预期值的依据也很重要,照着函数当前的输出填进去,可能会把缺陷固定在测试里。
节选在引出 Z3 反例时截断了。目前还看不出 Veritas 能把哪些 TypeScript 行为转成可验证的约束,也不清楚遇到无法建模的分支时,报告会怎样标出验证范围。这个范围决定了审查者能用验证结果回答哪些问题。