用性质测试和差分测试找出 AI 代码漏洞
文章指出,同一 AI 生成的代码和示例测试可能共享错误假设,测试通过仍会遗漏缺陷。作者介绍用 Hypothesis 与 fast-check 描述性质、生成输入,并通过参考实现做差分验证,以寻找边界反例。
AI 深度解读
AI 写完函数,再让同一个 AI 补几条单元测试,全部通过就能放心合并吗?作者认为,这种流程容易让代码和测试共享同一套错误假设。测试看似独立,实际可能刚好绕过了实现中的漏洞。
他的办法是把验证重点从「挑几个例子」转向「主动寻找反例」:用 Hypothesis、fast-check 生成输入,检查必须成立的性质;遇到优化任务,再拿旧实现做差分对照。对经常让 AI 写解析、归一化和数据处理函数的开发者,这套思路很实用,但前提也需要讲清楚。
测试通过,可能只是没碰到错误假设
作者从硬件验证得到启发:芯片验证会使用带约束的随机输入,与可信参考模型对照,而不只依赖几个手写用例。软件里常见的流程却是 AI 写实现,再写 5 个单元测试,覆盖正常路径、空数组、负数,然后结束。
例子测试当然有用。问题在于,测试输入取决于编写者想到了什么。同一个模型生成代码和测试时,可能同时忽略「两个区间只接触一个端点」,或者 macOS 文件名中采用分解形式的 Unicode。
基于性质的测试(Property-Based Testing,PBT)换了一个入口:先描述结果必须满足什么条件,再由框架生成数百到数千个输入。失败后,框架还会缩减输入,尽量留下便于理解的最小反例。
作者用 Python 的区间合并函数演示。安装命令是 pip install 'hypothesis>=6.100' pytest,下面保留决定合并行为的实现:
def merge_intervals(intervals):
# AI 生成的代码
if not intervals:
return []
intervals = sorted(intervals)
merged = [list(intervals[0])]
for start, end in intervals[1:]:
if start < merged[-1][1]: # 错误位于这里
merged[-1][1] = max(merged[-1][1], end)
else:
merged.append([start, end])
return [tuple(x) for x in merged]
要检查的是 start < merged[-1][1] 这一行:如果约定接触端点的区间也要合并,就应该使用 <=。
作者的输入策略让起点落在 -1000 到 1000,长度落在 0 到 50,每组最多 30 个区间,保证 start <= end。随后检查三个性质:输出区间严格分离;重复合并结果不变;对 range(-1000, 1051) 中每个整数点,合并前后的覆盖情况一致。
运行 pytest -q 后,作者报告不到一秒就得到反例 [(0, 0), (0, 0)]。
性质测试最先暴露的,往往是需求有没有讲清楚。
如果业务允许接触端点的区间保持分开,这段判断未必算错。必须先决定区间语义,才能决定测试应该断言什么。
优化有没有改坏,用旧实现来对照
有些函数很难直接列出完整性质,但已有一个可接受的实现。这时可以用差分测试(Differential Testing):让参考实现和新实现处理同一批输入,检查结果是否一致。
作者选的是越南语去声调函数,和国内开发者处理 slug、搜索归一化的工作相近。原实现先用 normalize('NFD') 分解字符,再删除组合附加符号;AI 提议改用查表。
下面这段代码解决的是「优化后是否保留原行为」,安装命令和测试次数也在其中:
// npm i -D fast-check@^3 vitest
import fc from 'fast-check';
import { test } from 'vitest';
// 参考实现:较慢,但容易理解
function removeTonesRef(s) {
return s.normalize('NFD')
.replace(/[\u0300-\u036f]/g, '')
.replace(/đ/g, 'd').replace(/Đ/g, 'D');
}
// AI 用查表方式优化的版本
const MAP = { 'á': 'a', 'à': 'a', 'ả': 'a', 'ã': 'a', 'ạ': 'a',
'ă': 'a', 'â': 'a', 'đ': 'd', 'é': 'e', 'ê': 'e' /* ... */ };
function removeTonesFast(s) {
let out = '';
for (const ch of s) out += MAP[ch] ?? ch;
return out;
}
// 生成越南语字符串,也包含组合形式 NFD
const viChar = fc.constantFrom(
...'aăâeêoôơuưiyđAĂÂĐ', 'á', 'ặ', 'Ế', 'ữ', 'a\u0301', ' ', '-'
);
const viString = fc.array(viChar, { maxLength: 20 }).map((a) => a.join(''));
test('fast khớp với reference', () => {
fc.assert(
fc.property(viString, (s) => removeTonesFast(s) === removeTonesRef(s)),
{ numRuns: 2000 }
);
});
关键是生成器里的 'a\u0301'。它看起来像一个带声调的字母,实际由基础字母和组合符号组成;只枚举预组合字符的查表方案容易漏掉它。
作者称,即使补齐 134 个字符,NFD 输入仍会使测试失败。不过,原文没有展示完整字符表,也没有性能基准,所以这里只能确认示例查表方案存在行为差异,不能判断优化收益。
原文还有一处细节不一致:它举 ô 作为可能返回的反例,但展示的参考函数会保留纯 ASCII 字符串 fast khớp với reference 之外的测试名称不影响执行;真正的问题是生成器包含 ô,而示例 MAP 没有它,因此这个反例确实可能出现。相比之下,a\u0301 更能说明单纯补表仍解决不了的输入表示问题。
失败时 fast-check 会报告 seed 和 path,用选项 { seed, path } 可以重放。这让 CI 上的随机失败有了明确的复现入口。
把反例留下,比单次跑绿更重要
作者建议人负责审核性质,AI 负责实现。适合起步的性质包括:编解码往返 decode(encode(x)) == x;归一化执行两次结果不变;排序结果有序、金额总量守恒;业务允许时,打乱输入顺序不改变结果。
生成策略同样重要。没有生成 NFD 或边界值,跑一百万次也无法检查这些情况。
在 Hypothesis 配置中,作者注册 dev 和 ci 两个 profile:前者 max_examples=100,后者 max_examples=2000,并设置 deadline=None、suppress_health_check=[HealthCheck.too_slow]。通过 settings.load_profile(os.getenv('HYPOTHESIS_PROFILE', 'dev')) 选择配置。
本地执行 pytest -q tests/property;夜间执行 HYPOTHESIS_PROFILE=ci pytest -q --hypothesis-show-statistics tests/property。CI 还会用 actions/cache 或同类机制缓存 .hypothesis/,保留历史失败样例。
发现区间反例后,再加上 @example([(0, 0), (0, 0)]),将它固定为回归测试。缓存帮助后续运行记住问题,显式样例则把修复要求写进代码。
我的判断
我认同这套方法,尤其适合输入组合多、规则相对明确的纯函数。相比继续堆几个 AI 编写的例子测试,它增加了探索输入的能力,也逼着开发者审核业务约束。
但 PBT 不会自动提供正确答案。幂等性通过,不代表函数实现正确;一个始终返回空数组的函数也可能满足幂等性。差分测试同样依赖参考实现,两个版本一致,只能证明在已测输入上行为一致。
作者展示了具体缺陷和反例,但没有给出团队长期缺陷率、维护成本或与手写测试的对照数据。「更容易发现遗漏」有案例支持,「整体能提高多少质量」仍是经验判断。硬件验证的类比有启发性,也不能把几千次软件随机测试当作完整验证。
此外,关闭 deadline、抑制慢测试健康检查,是运行配置取舍,不是性能合格的证明。正常业务示例仍应保留,用它们解释需求,再让性质测试扩大搜索范围。
能拿来做什么
- 从现有项目挑
2-3个核心函数,用 Hypothesis6.x或 fast-check3.x补性质测试,优先考虑解析、金额计算和数据归一化。 - 让 AI 重构或优化函数时,保留旧实现做参考,并明确生成 Unicode 组合形式、重复值和边界输入。
- 审核 AI 提出的性质,确认它表达业务约束,而不是把实现抄一遍,或写成
assert f(x) == f(x)。 - 给本地和夜间 CI 分配不同运行量,保存失败复现信息,并将确认过的反例固化为回归测试。