AI 自测为何漏错:双智能体盲测实验
作者在隔离虚拟机中对比单上下文自测与测试、实现分离的双智能体 TDD,报告变异测试杀伤率分别为 0% 和 100%。实验使用特定模型与隐藏测试集,结果能否推广仍需更多验证。
原文暂未完整获取,基于公开信息的快读
同一个 AI 既改代码又写测试,会不会把自己的错误也写进验收标准?dev.to 上一项实验对比了单上下文自测与双智能体盲测:作者报告,两种流程对 6 个边界变异的检出结果分别为 0 个和 6 个。差距很大,但目前只能把它看作特定任务下的实验结果。
目前能确认什么
实验在隔离虚拟机中运行,使用 gemini-3.8-flash,thinkingLevel 设为 LOW,任务是修复由 3 个模块组成的 SaaS 订阅按比例计费流程。
单智能体同时看到需求、缺陷代码和测试,可以一起修改测试与实现。双智能体则分开工作:测试者只看 TASK.md,写出的测试先验证能让初始缺陷代码报错,随后被锁为只读;实现者只能修改业务模块,直到测试通过。
作者报告,单智能体漏掉了账户 ID 的类型校验:需求要求非字符串输入抛出 ValueError,实现却把整数转成了字符串。它自己的测试通过,隐藏测试通过 19/20;双智能体流程通过 20/20。
变异测试(Mutation Testing)会故意向代码注入错误,再检查测试能否发现。这里的 100% 指检出了选定的 6 个变异,不能理解为能发现所有缺陷。
我的判断
比「多加一个 Agent」更有借鉴价值的,是让测试依据需求生成,并限制实现者修改验收标准。
对程序员而言,可以先把这种隔离用在类型校验、金额边界、非法输入等规则明确的模块。AI 交付时,除了看测试是否全绿,还可以故意改坏一条关键规则,检查测试会不会失败。
不过,这段材料没有交代重复运行次数、结果波动,以及换模型、换任务后的表现,也不足以判断优势分别来自盲测、角色拆分还是测试只读。作者将漏错归因于实现锚定,这个解释与展示的案例相符,但还不能据此断言单智能体 TDD 普遍无效。