AI 编程审计:测试如何绑架代码结构
SWCraft 的独立审计发现,架构契约中有 5843 处源码行号引用由测试校验,甚至导致导入语句为保持行号而留在函数内部。案例揭示了 AI 参与开发时,验证机制可能反过来迫使代码迁就脆弱的测试约束。
AI 深度解读
测试全绿,代码却越来越难改,这时该查的可能是测试本身。SWCraft 的作者发现,为了维护数千条源码行号引用,AI 编程代理把 import 塞进函数、把新函数追加到文件末尾,项目逐渐围着检查规则生长。
这篇案例的价值,在于把「测试行为,不测试实现」讲出了具体代价:什么检查会冻结代码,怎样替换它,以及为什么有计划、有审查、有 CI,仍然挡不住错误约束不断累积。
测试为什么会逼着代码保持原地不动
SWCraft 是一个面向 AUTOSAR Classic 的实验性架构即代码环境。架构模型保存在受版本控制的 YAML 中,确定性工具负责验证模型,生成 ARXML、图表和文档;LLM agent 则通过 MCP 读取、修改同一份模型。
它需要回答一个合理的问题:契约声明的字段,代码到底有没有处理?
为此,项目维护了一份覆盖记录,把每个字段关联到实际读取它的源码位置。这段记录解决的是契约与实现之间的追踪问题:
identifier → validator.py:7769
要看的是右侧的 7769:它把证据绑定在物理行号上,后续所有插行操作都会影响引用。
声明了字段却没有代码读取,或者引用指向不存在的内容,都会导致构建失败。初衷没有问题,麻烦出在验证粒度上。
开源前,Claude 和 Codex 分别进行独立审计,发现契约数据里有 5,843 条 file.py:NNN 引用,每条都由测试检查。
在几千行的模块顶部增加一行,下面的引用就可能集体失效。为了少改这些数字,代码开始迁就测试:新增 import 放进函数,新函数放到模块末尾,而不是放在相关代码旁边。
审计最初找到 47 处解释行号稳定性的注释或文档字符串,清理时发现总数约 120 处;至少 24 个提交只做了重新固定行号这一件事。
这些修改都能通过测试,但它们的组织依据已经偏离常见的 Python 写法和 PEP 8。函数内 import 本身当然可以合理,问题是这里的理由只是「别让引用移动」。
更糟的是,原有检查并没有提供看起来那么强的保障。行号对应某段文本,不等于那里真的读取了字段,更不等于读取发生在负责工作的函数里,或者该函数确实会被调用。迁移时,作者发现 5 条引用已经漂到错误位置,旧检查全部放行;另有 91 条字段豁免理由已经过时。
位置很精确,证据却未必可靠。
把引用改成函数名,验证能力就够了吗
作者把覆盖记录改为引用符号,也就是函数这样的代码实体:
identifier → validator.py::check_identifier_conformance
这里解决的是源码排版与契约证据相互牵连的问题。要看的是 :: 后的函数名:检查器使用 Python 的 ast 模块解析该函数,要求它确实读取声明的字段。
函数删除、改名,或者不再读取字段,都会失败;模块顶部增加 import,则不会影响引用。迁移完成后,项目有 6,595 条符号引用,行号引用降到 0。原文没有解释引用总数增加的具体原因,不能把差额直接理解为新增覆盖能力。
随后,129 个局部 import 移回模块顶部,另有 26 个保留在函数内,并分别标明保留类别。
作者也测了代价:在一台 Mac 上,命令启动慢了 8 至 13 ms,约从 350 ms 变为 360 ms,增幅为 2% 至 4%。这是作者的实测,但原文没有给出更完整的硬件、采样和统计方法。
符号引用仍有边界。一个 20 行函数里读取某字段,通常容易理解;如果函数有 1,173 行,同样的断言就弱得多。它只能说明函数中存在读取,不能自动证明完整业务行为正确。
作者接下来的方向是拆大函数。项目约 6,500 个函数中,9 个超过 500 行,99% 少于 200 行。这个分布说明问题集中在少数位置,也提醒我们:更稳定的引用方式,并不能替代代码结构治理。
为什么禁止测试读源码,反而会误伤好测试
清掉行号后,作者先定了一条很直接的规则:测试不能读取源码文本。
严格执行后,107 个文件里的 370 个测试都得申请例外。它们大多通过 ast 检查包之间的导入关系、禁止调用,以及平台代码的位置。这类静态分析有明确用途。
作者因此修改了规则:判断测试是否合理,要看它断言了什么。
固定行号,或者要求文档、文档字符串、注释、源码中必须存在某个精确短语,属于禁止范围;检查代码结构,以及禁止面向用户的文件出现特定 token,则可以保留。
这次清理重写了 15 个测试。每个测试都通过故障注入验证:故意植入错误,检查它是否真的能抓住。否则,把脆弱断言删掉后测试继续绿,并不能证明改写成功。
为了防止问题重新积累,规则进入了每次任务和合并前 CI 执行的 lint:
- 对受版本控制的代码和文档检查
file.py:NNN,目标为 0,不设基线或允许名单;带日期的计划、决策记录保留当时引用。 - 扫描产品测试中的精确短语断言,剩余例外进入只能缩减的基线。清理后,条目从 106 个降至 26 个,分布在 14 个文件。
- 函数长度、复杂度、模块大小,以及各包的 mypy 错误数,也采用只能下降的约束。
这种只允许往改善方向移动的机制,作者称为 ratchet,可以理解为「只进不退的基线」。
它也有盲区:行号检查识别不了「validator 的第 12 行」这类改写,测试扫描器目前只覆盖 Python,尚未覆盖编辑器扩展的 TypeScript 测试。规则的适用范围需要明写出来。
我的判断
我赞同作者把审查问题从「测试过了吗」推进到「代码为了通过测试,付出了什么代价」。
这个案例尤其适合 AI 编程场景。代理收到「保证问题永不复发」的任务后,很容易新增一个固定内容的断言;下次开发时,又把既有测试当成必须满足的规格。每一步都局部合理,累积起来却可能让维护越来越困难。
不过,这是一个项目的经验案例。原文没有人工开发团队与 AI 开发团队的对照数据,也没有迁移前后的开发效率统计,不能据此认定 AI 必然更容易制造此类问题,或符号引用一定能提升某个百分比的效率。
ast 检查适合回答「有没有读取字段」「是否出现禁止调用」这样的结构问题。涉及实际输出、异常处理和调用路径时,仍需要行为测试。源码检查、单元测试、集成测试各有用途,不能靠一种检查包办全部证据。
只能下降的基线也值得借鉴,但它需要明确适用范围。若把函数长度之类的指标继续当成不可讨论的规格,也可能再次出现为过关而拆分代码的情况。这里应保留作者自己的原则:当检查开始迫使代码变形,就重新审视检查。
另一个有启发的细节是,发现问题的仍然是 Claude 和 Codex。区别在任务:开发时问它们怎样满足既有门禁,审计时问它们与常见实践相比哪里不合理。审查视角需要主动切换。
能拿来做什么
- 下次让 AI 修复缺陷并补测试时,要求它说明断言保护的行为,以及正常重构会不会触发失败。对固定源码短语、注释和行号的新增断言,单独检查其必要性。
- 如果项目维护契约到实现的追踪记录,可以评估从行号迁移到符号,并验证目标符号确实包含相关操作;遇到巨型函数时,把拆分列入后续清理。
- 重写脆弱测试后,主动植入一次它应该识别的错误。前端或 Node 项目也可以沿用这个验证步骤,确认新测试仍然有发现问题的能力。
- 给 AI 安排独立审计时,明确要求检查「哪些代码组织方式只是为了让测试通过」,并对照常见工程实践审视,避免审计继续重复现有 CI 的判断。