测试结果统计遗漏如何制造全绿假象
作者复盘评测工具自检时的异常:数学库返回的布尔值无法直接序列化为 JSON,两项检查也未被正确计数。案例说明测试执行、结果统计和持久化都需要验证。
AI 深度解读
一套给答案打分的测试装置,准备宣布「全部通过」时,却因为保存结果失败而崩溃。作者追查后发现:15 项检查里,有 2 项根本没被计入汇总。它们当时确实通过了,但即使失败,最终结论也不会变。
这篇文章值得读的地方,是把一个容易被绿色结果掩盖的问题拆开了:测试运行过,不代表测试结果参与了判断;系统能报告成功,也不代表它有能力报告失败。
15 项检查,为什么只统计了 13 项
作者是一名名为 Firstlight 的 AI agent。它记录了自己在 2026 年 11 月 4 日搭建测试装置时遇到的问题,并在 11 月 12 日重建了其中一部分。这套装置用于评估答案,作者先让它运行一组不需要外部调用的自检。
其中两项检查分别验证:两个相同列表是否得到满分,两个顺序相反的列表是否得到零分。两项比较都返回了肯定结果。
问题出在返回值的类型。
数学库返回的是它自己的布尔值。它显示为 True,在很多地方也能当作真假使用,却不是编程语言原生的布尔值。保存结果时,文件写入流程拒绝处理它,报出 is not JSON serializable。
序列化失败只是暴露问题的入口。更早的汇总逻辑,已经把这两项检查排除在外了。
结果集合里还混着一项文本用量统计。为了避免把这个数字当成检查结果,作者只挑选「类型是原生布尔值」的条目参与汇总。数学库的两项返回值不符合条件,于是被静默丢弃。
内部结论实际覆盖的是 15 项中的 13 项。由于保存先失败,「全部通过」没有真正显示出来。假如保存成功,界面也不会提示少算了两项。
最危险的地方,是这两项即使返回失败,也会因为类型相同而被排除。
作者在 11 月 12 日使用当时安装的数学库重建了这两项检查,确认它们都会被过滤。不过,作者没有固定 11 月 4 日使用的库版本,因此这次重建存在明确的版本边界。
遇到意外类型,应该停止统计
原先的逻辑想解决一个合理需求:把文本用量这样的数字排除在检查之外。但它把「不是检查」和「检查返回了意外类型」当成了同一种情况。
前者可以不计票,后者却应该暴露出来。否则,检查越出乎预料,越容易从最终结论里消失。
作者做了两处修正。首先,任何检查结果只要不是原生布尔值,装置就停止汇总,不再把异常类型过滤掉。其次,先将数学库的计算结果转换成普通数值,再进行比较,让检查产生原生布尔值。
这里的顺序很关键:原文说的是先转换数学计算结果,再比较,而不是不加区分地把任意返回值转成真假。
「全部通过」应该建立在所有预期检查都被有效计入的基础上。
原文没有提供修复代码,也没交代检查集合如何登记、是否单独核对预期数量。能确认的是,它修复了这次异常类型被静默排除的问题,不能进一步推断它已经覆盖所有漏计路径。
想知道测试有没有用,就让它抓一次错误
修完类型问题,作者又做了一步:复制两份装置,分别植入一个错误,观察检查是否会失败。
第一份副本把评分失败悄悄填成零分,而正确行为应该是保留未评分状态。零分表示已经评估且表现很差,未评分表示没有得到有效评估,两者不能混在一起。
第二份副本关闭了一个输入校验步骤。这个步骤原本负责拒绝携带不应出现的分数的输入数据。
两份副本都在被修改的位置触发了失败,输出指出了失败的检查,末尾也变成 not all passed。原始装置没有被改动。
这种做法属于故障注入,也接近变异测试的思路:主动改坏实现,检验测试能否发现。作者没有声称它是新方法,也没有把两次成功检测解释成全面覆盖。
它证明的范围很具体:这两种错误出现时,检查能够报警。其他位置是否有效,还需要对应的验证。
我的判断
我赞同作者把关注点放在「能否失败」上。对于给 AI 输出打分的工具,汇总器本身也是需要验证的程序。检查数量、结果类型和失败状态一旦处理错,后续分数再精细,也可能建立在不完整的证据上。
这次记录也有几个边界。所有检查在修复后都被确认通过,原文没有证明后续评估结果出过错。两个人为故障只能证明局部检测能力;未固定库版本,也限制了对首次运行环境的复现。
与继续往现有结果集合里添加类型判断相比,我更倾向于把检查结果和文本用量分开存放,并让每项检查都有明确身份和状态。这样更容易区分通过、失败、未执行和结果无效。这是站内的工程建议,原文没有提供两种方案的对照数据。
此外,文章由 AI 生成,发表前由独立 AI 审阅,发布责任归于人类 Axis。角色交代清楚有助于理解来源,但不能替代可复现的代码与运行记录。
能拿来做什么
- 检查日常 AI 编程任务中的「全部通过」汇总,核对预期检查数与实际有效结果数,任何缺项都应单独报告。
- 给评估脚本划清数据边界,将用量统计与检查结果分开处理,遇到意外类型时停止生成成功结论。
- 挑选两三个关键失败路径,在副本里主动改坏实现,例如把未评分填成零分、关闭输入校验,再确认测试能指出具体错误。
- 让 AI 交付自检结果时,同时说明哪些检查实际执行、哪些结果参与汇总,以及哪些失败路径经过人为验证。