Meta 用大模型生成测试拦截高风险变更
据报道,Meta 已将 Catching JiTTests 投入生产,由大模型针对高风险代码变更生成能暴露问题的测试。该系统在 2026 年上半年于代码合入前发现 74 起隐私严重事件,工程师反馈的真阳性率为 60%。
AI 深度解读
Meta 想让 AI 在代码合并前交出一条能运行、能失败的测试,用它暴露这次改动可能引入的问题。JiTTests 已进入 Meta 生产基础设施,团队称它在 2026 年上半年提前拦住了 74 起隐私严重事件。
这套方案值得看,不只因为成绩,更因为它把 AI 审查从文字判断推进到了行为验证。不过,测试失败只能证明某个预期没有满足,是否真有缺陷,还要判断。理解这一点,才能看清它的价值和数字里的边界。
为什么要生成一条故意失败的测试
传统回归测试通常在写好时就应该通过,用来防止未来改坏已有行为。Catching JiTTests 针对的则是正在审查的代码差异(diff):假如改动引入了缺陷,能否马上构造输入,把问题跑出来?
Meta 在 2025 年的论文「Harden and Catch」中明确区分了这两种目标。加固测试为以后守门,捕获测试检查眼前这次改动。
多数 AI 审查工具读取 diff,然后给出评论。JiTTests 希望提供可执行的证据,让工程师看到具体输入、执行路径和失败结果。代价也很直接:生成测试、执行代码、分析失败,需要更多计算步骤。
能运行的失败,比一句怀疑更容易核查,但它仍然需要正确的预期。
例如,旧行为被新需求有意改变,测试却坚持旧结果,也会报错。JiTTests 真正要解决的难题,是从行为变化里筛出不符合改动意图的那部分。
两种生成路线,区别在于是否理解改动意图
JiTTests 有两条感知 diff 的测试生成路线。
第一条叫 dodgy diff。它先假设每个 diff 都有问题,把改动后的代码当作父版本的变异体,再生成能区分两者的测试。变异测试(mutation testing)通常会人为制造错误版本,检查测试能否识别;这里直接把待审查改动当成可疑版本。
这种方式容易找到差异,却不知道差异是否合理。
第二条叫 intent-aware。它从代码、标题和摘要推断改动目标,列出风险,再为每种风险构造变异体,生成能够识别这些错误的测试。如果测试随后在真实 diff 上也失败,就得到一个「弱捕获」(weak catch)。
弱捕获是候选失败,不是已确认的缺陷。
研究分析了 22,126 条生成测试。感知 diff 的方法产生的候选捕获数量,是加固测试的 4 倍、偶然失败测试的 20 倍。具体结果如下:
| 方法 | 测试中的弱捕获比例 | 出现弱捕获的 diff 比例 |
|---|---|---|
| intent-aware | 6.4%,52/811 | 7.9% |
| dodgy diff | 2.5%,41/1,621 | 4.0% |
| ACH 变异引导加固 | 0.8%,6/754 | 1.6% |
| TestGen-LLM | 2.0%,89/4,499 | 3.6% |
ACH 是 Meta 在 2025 年提出的加固方法,TestGen-LLM 发表于 FSE 2024,目标是改进已有的人工测试。它们生成测试时要求通过,也不感知 diff;表中 TestGen-LLM 使用「need not add coverage」设置,即不要求新增覆盖率。
这些结果支持 intent-aware 更容易找到候选问题,不能直接推出它发现真实缺陷的能力提高了多少。
真正决定能否落地的,是怎样过滤失败
生产流程共有 5 个阶段。首先,系统利用夜间闲置算力,挑选前一天的高风险 diff,筛选机制类似 Meta 的 Diff Risk Score。随后,两条生成路线产出候选测试。
第三步是 LLM-as-Judge ensemble,也就是让多个模型担任评审,结合测试代码、失败轨迹、diff 和推断出的意图评分。论文使用的评审模型包括 Llama3.3-70B、Gemini 3 Pro 和 Claude Sonnet 4。
第四步是 RubFake,全称 Rule-Based False-Positive Killing Environment。它用确定性规则检查反射、损坏的 mock、未实现异常等模式,过滤可疑失败。mock 是测试里代替真实依赖的模拟对象,它自己出错,同样可能让测试失败。
最后,系统综合排名,决定是否联系工程师。原文称,规则和模型评审共同减少了 70% 的人工审查负担,但没有分别交代两者的贡献。
这里的 human-on-the-loop,也不是每条输出都交给人审批。工程师设定标准、观察整体结果,收到通知后主要确认行为变化是否符合预期。按作者转述,他们团队很少需要阅读测试代码。
这套系统运行在数亿行规模的 Meta 后端代码上。它能投入多少计算、复用多少内部测试设施,都会影响其他团队复制方案的成本。
我的判断
我认可它把审查意见变成可复现行为的方向。相比只留下文字评论,失败测试更方便定位、讨论和验证修复;相比传统回归测试,它又把检查目标收窄到了当前改动。
但两类测试承担的任务不同。捕获当前缺陷,不能替代长期维护回归测试。
生产数字也需要分开看。初次部署报告了 41 个候选捕获,最终确认 8 个,真阳性率为 19.5%;其中 4 个如果进入生产,会导致严重故障。2026 年 10 月的工程文章则报告,589 名工程师参与互动,占被联系者的 64%,工程师反馈的真阳性率达到 60%。
19.5% 和 60% 来自不同阶段,原文没有给出足够信息证明统计口径一致,不能直接当作严格对照实验。
2026 年上半年提前捕获 74 起隐私 SEV、同期隐私严重事件发生量下降 20%,同样是 Meta 自报结果。原文没有提供对照数据,无法把下降全部归因于 JiTTests。
这里最值得借鉴的是验证流程,最不该直接照搬的是效果预期。
JiTTests 没有公开代码、模型或 API,表中几套系统也都只供内部使用。它不是今天就能装进项目的工具,迁移效果仍需各团队自己验证。
能拿来做什么
- 在日常 AI 编程审查中,让模型针对当前 diff 提出具体风险,再尝试生成可执行测试;把候选失败和确认缺陷分开记录,避免拿报错数量当成绩。
- 对已有测试设施的 Node 后端,先挑高风险改动做小范围验证,检查测试能否构建、mock 是否可靠、失败是否来自预期行为,之后再考虑增加模型评审。
- 如果尝试夜间批处理,应同时记录计算成本、通知数量和人工确认结果。只有工程师愿意持续核查,候选捕获才可能转化为实际收益。