测试全绿仍有缺陷:智能体验证的盲区
作者以虚构医疗材料整理系统为例,展示测试全部通过后,独立审查仍发现三项严重缺陷。文章介绍逐条移除安全约束并重跑测试的方法,用来检查测试是否真正保护了这些规则。
AI 深度解读
测试全绿,Agent 仍然可能选错规则、泄露输入,甚至把「TBD」当成审批人。一位作者在虚构的医疗预授权系统里遇到了这件事:36 条安全控制逐条删除,测试每次都能报警,但独立评审依然找出了 3 个高风险缺陷。
问题出在测试结论被读得太宽。能发现一条控制被删掉,不代表能发现它处理错了输入。原文最有用的部分,是作者如何用「只改一个字段」的相邻用例,补上原有测试的盲区,以及为什么人工审批必须由代码把关。
36 次测试报警,为什么还挡不住错误
作者把医疗预授权受理做成了 coding assistant 技能包中的第 5 个完整示例。请求可能涉及 MRI、CT 或脊柱注射,系统读取申请和附件,找到对应政策,逐条核对条件,再为护士审核员生成材料包。
它不作最终决定。可即便由人决策,材料包也必须准确描述记录里的事实。
作者原来的验证手段叫 removal run:把计划中的安全要求写成代码条款,再逐条删除,检查测试是否失败。例如,规则集未经具名人员批准不能运行,服务提供方的自由文本不能进入材料包。如果删除控制后测试仍然通过,就说明测试没有保护这条控制。
这次共删除了 36 条控制,36 次都有测试失败。然而,一位未参与编写的评审者发现了 20 个问题,其中 3 个被列为高风险:
- 服务选择依赖词语重合。「CT lumbar spine」与 MRI 政策共享了足够多的词,便被套用了 MRI 政策;腰椎注射请求也发生了同样的问题,材料包还给出了条件满足的结论。
- 发布前的静态检查,会跳过完全没有规则的市场或月份。检查原本应该发现的覆盖空洞,恰好被跳过去了。
- 服务描述和附件标签中的自由文本进入了材料包、受理记录和日志。患者姓名一旦被填进这些字段,就会跟着流转。
修复前后,removal run 都是 36/36。
这与变异测试(mutation testing)的局限一致:它衡量测试能否发现选定的代码变化,却无法替你补齐没人想到的输入。服务匹配逻辑一删,正常请求就匹配不上,测试当然失败;但原有用例的措辞都与正确政策吻合,没有人拿「很像 MRI 的 CT 请求」去试它。
控制被测试保护着,控制本身仍然可能是错的。
只改一个字段,怎样逼出隐藏缺陷
评审之后,作者增加了一个叫 tester h 的近似输入测试器。它读取计划、规则文件和函数签名,但不读现有测试,再构造与通过用例仅有一个字段不同的「双胞胎」用例。
变化可以很小:近似但不正确的服务代码、条件中的一个否定词、代码字段里的姓名,或者超过最后一个规则有效期一天的日期。
每对用例都在核对一种预期关系:如果字段变化应该影响结果,结果就必须变化;如果变化不应影响结果,结果就应该保持一致。这比单纯增加随机输入更有针对性,因为出现异常时,能把问题收敛到那个被改动的字段。
它第一次又发现了 3 个缺陷,其中 2 个是高风险。诊断代码字段会原样输出任何输入,姓名因此能进入材料包;无法识别的服务代码也会被原样输出;记录中「治疗在六周后不获支持」的否定表述,则被当成了对六周期限的确认。
不过,测试器的任务说明是在评审之后写的。它会不会只是针对已知问题出题?
作者为此做了一次盲测:用无法访问评审内容的新测试器实例,检查重新植入了 10 个已知缺陷的版本。结果找回 7 个,包括全部 6 个高风险缺陷,另外发现了此前无人列出的 8 个问题,其中 4 个是高风险:
案例 ID 被直接用作文件夹名称,../../ESCAPE 可以写到 cases 文件夹之外;TBD、n/a、Unknown 和职位名 Medical Policy Owner 能冒充具名审批人;运行时关卡只检查发布记录的 hash,没有审批人的记录也能放行;否定词没有正确约束后面的内容,and no foot drop 被读成危险信号,did not complete 8 weeks 被读成完成了 8 周。
这些缺陷随后都补上了修复前失败、修复后通过的测试。作者还把缺陷保存成可重新植入的补丁,用来检查后续测试器是否仍能发现它们。
推广到技能包的其他示例后,任务摘要发现 6 个缺陷,海关申报发现 7 个,保险理赔发现 9 个,加上医疗预授权两轮新增的 3 个和 8 个,作者报告五个示例累计发现 33 个缺陷。在新用例写出来之前,它们没有一个表现为失败测试。
人工审批,为什么不能只写在提示词里
这组案例还有一个容易被忽略的共同点:付款、发送或发布之前,都安排了人工审批。但好几个缺陷出在审批周围的程序逻辑中。
提示词可以要求模型等待批准,却管不了代码把 TBD 认作审批人。发布记录的 hash 对得上,也无法证明里面真的有有效批准。
作者给出的要求是:批准必须是一条包含真实姓名、非未来日期的记录,关卡拒绝不合格记录,而且每次批准只能使用一次。保险理赔示例还检查了未经有效批准的付款不会到达支付系统。
但这也不能被理解为「审批测试已经通过,审批就可靠了」。保险理赔的相关测试早已通过,近似输入测试器后来仍在海关示例中发现了职位名冒充姓名的漏洞。
原文没有说明如何验证「真实姓名」。因此,它给出了审批记录应满足的条件,却没有完整证明身份核验已经解决。对实际系统来说,「填了一个像姓名的字符串」与「某个有权限的人完成批准」之间,还需要具体机制连接起来。
我的判断
我认同作者对测试证据的重新划界。单元测试说明代码在已选输入上符合预期;removal run 说明删除控制会被发现;近似输入测试说明已选案例附近的行为是否合理。三者各有用处,但没有哪一种能独自证明规则系统可靠。
作者现在先运行近似输入测试器,再信任全绿的 removal run,这个顺序有实践理由:先检查控制能否处理容易混淆的输入,再检查这些控制是否受到测试保护。但作者没有提供与人工边界分析、随机测试或其他生成测试方法的对照数据,不能据此判断 tester h 更优。
盲测是文中最有分量的证据。找回 10 个已知缺陷中的 7 个,并发现 8 个未知问题,比单看通过率更能说明测试器有用。不过,这依然是小规模实验,所有系统使用虚构数据,没有真实医保机构、保险公司或报关企业的运行记录。
所谓独立也有限。评审者没有参与编写,不等于拥有完全不同的盲区:构建、评审和测试都来自同一模型家族。作者本人也承认,模型家族共同看不见的缺陷可能还在。
此外,作者销售包含这些示例和测试器的 Agent Suite Builder。商业背景不否定结果,但更适合把它看作一套有具体缺陷记录支持的工程经验,而不是经过广泛验证的质量保证方法。
全绿只回答测试提出的问题,测试没提出的问题仍然悬着。
能拿来做什么
- 给规则选择器补「差一点就对」的用例。如果 Node 服务按代码、日期、地区或业务类型选择规则,就逐字段测试近似代码、未知值和有效期外一天,明确每次变化是否应该改变结果。
- 让另一个人或 AI 编程会话依据需求和规则编写补充测试,并暂时不提供现有测试。这样可以减少沿用旧用例假设的机会,但仍要人工核对预期结果。
- 检查自由文本如何进入输出。除了明显的备注字段,也要把诊断代码、服务代码、附件标签和案例 ID 当作输入边界,验证异常值会不会进入材料、日志或文件路径。
- 把审批关卡落实到后端代码,并测试「有值但无效」的情况。除缺失审批外,还应覆盖占位符、职位名和未来日期;报告变异测试成绩时,也要同时列出实际覆盖的输入边界。