排查编码智能体生成代码中的隐蔽错误
文章归纳了编码智能体生成代码时常见的五类隐蔽错误,例如循环多跑一次,或切片时误把上界当成包含端点。作者从模型解码和上下文处理解释这些问题,并给出针对不同错误模式的排查思路。
AI 深度解读
AI 编程 agent 最难审的改动,往往能编译,顺利跑过正常用例,还和仓库里的代码长得很像。多遍历一次数组、漏改一个远处的调用点、把「仅活跃用户可见」写反,单看代码都容易滑过去。用户拿到错误结果时,程序甚至不会报错。
作者给出的主张是,先用测试定义正确行为,再让 agent 在能执行代码、读到失败结果的环境里改。对前端和全栈开发者来说,这篇最实用的部分,是把这些「差一点就对」的改动分给类型检查、行为测试和人工审查,各自查能查出来的问题。
为什么代码能跑,业务逻辑还是会错
作者归纳了五类错误。第一类是边界偏差,比如把数组长度当成最后一个有效索引。下面这段 TypeScript 原本要逐项处理列表,却会多调用一次 process。
// Agent-generated: iterates one past the end
for (let i = 0; i <= items.length; i++) {
process(items[i]); // undefined on the final iteration
}
看 i <= items.length 这一行。最后一轮会读到 undefined,空数组也会执行一轮。把 <= 改成 < 才符合逐项遍历的要求。如果 process 恰好会忽略 undefined,只断言最终结果的测试还可能漏掉这次额外调用。
第二类是 API 用错,包括参数顺序、版本签名和默认行为。Array.prototype.sort() 会原地修改调用它的数组,默认按字符串排序。[...items].sort() 已经复制了数组,仍然会把 [10, 2, 1] 排成 [1, 10, 2]。原文注释把默认排序的结果写错了。数字升序要传比较函数,写成 [...items].sort((a, b) => a - b),结果才是 [1, 2, 10]。两种写法都可以通过类型检查。
第三类是逻辑反转,例如把 if (user.isActive) 写成 if (!user.isActive)。如果测试也由 agent 按同一个错误理解写出来,测试通过只能说明实现和断言一致。第四类是重构漏改,定义和眼前的调用点都改了,另一个模块还在用旧名字。第五类是把熟悉的代码模式套进当前仓库,例如实际字段叫 user.name,生成的代码却去读 user.fullName,或从错误路径导入 formatDate。
为什么对话越长,越需要留下可执行的规格
自回归模型逐个生成 token。贪心解码每一步选概率最高的 token,top-p 和 temperature 则以不同方式调整采样。一个循环条件读起来再合理,解码过程也不会因此知道它在空数组上跑了几次。运行代码、捕获失败并把结果交回 agent,是执行框架承担的工作。
上下文也会影响结果。长会话里的旧消息可能被截断或压缩,前面说好的限制到实现时可能已经缺失。即使还在窗口里,靠近修改位置的注释或旧代码也可能更有影响。原文用相隔 8,000 个 token 的需求举例,这个数字是示意,文中没有给出可用于判断上下文失效的阈值。作者把那些读起来顺畅、行为却偏离规格的实现称为「局部最优」,可以把它理解成生成时容易落到的一批貌似合理的答案。
排查时先固定依赖版本和锁文件,记录运行环境,给涉及随机性的用例设定种子。业务失败能稳定重现之后,再拿已知正常的提交对比 diff,尤其检查需求没要求改动的条件、参数顺序和调用点。如果怀疑上下文带偏了实现,可以删去末尾 N 条消息重跑,缩小排查范围,再检查这几轮有没有互相矛盾的要求或过期代码片段。生成结果本身可能波动,一次重跑恰好修好,证据还不够。
怎样把「差一点」变成可复现的失败
作者把测试前置放在首位。先写一个能在当前实现上失败的用例,再让 agent 改代码并读测试输出。对于边界问题,还可以用基于属性的测试(property-based testing),批量检查某条对多种输入都应成立的约束。原文用 Python 的 Hypothesis 检查列表经过逐项处理后长度是否保持一致。
from hypothesis import given, strategies as st
def process_items(items):
return [item * 2 for item in items]
@given(st.lists(st.integers()))
def test_process_items_preserves_length(items):
assert len(process_items(items)) == len(items)
关注最后一行。它能抓住多产出或漏产出元素的实现。若错误表现为额外调用一次处理函数、最后丢弃结果,长度仍有可能正确,此时要检查调用次数或输出内容。分页、日期计算和字符串解析也适合先找出类似的不变量,再决定生成哪些输入。
静态检查可以做第一道门。JavaScript 可以开启 strict mode,并用 @ts-check 补充类型检查。TypeScript 重构后可以跑 tsc --noEmit,再全库搜索旧符号。团队还可以用 ESLint 限制遗漏比较函数的排序写法。Python 项目里,原文提到用 pyright 检查重构,还将 ruff、mypy 列入静态检查流程。Prettier 在这套流程里负责格式,业务条件是否写反仍要靠行为断言。
我的判断
我认同先跑失败测试,再交实现。尤其是权限条件、状态流转这类代码,最好由人从需求里写出至少一正一反两个预期。让 agent 同时决定规则、写实现和写断言,省下了写测试的时间,也容易让同一个误解贯穿三处。机械修改、影响范围局限在单个函数且测试充分时,可以让 agent 多跑几步,再快速审 diff。涉及跨模块约束、并发或状态的任务,要先弄清失败是否会被现有检查发现。
原文给的是代码示例和操作经验,没有提供失败率、对照实验或基准数据。「先写测试最有效」「更大的模型能减少这类错误」都属于经验判断。作者对 < 和 <= 在训练数据中的分布也没有给出统计,没必要靠这个解释才能采用边界测试。
Outlines 和 Guidance 一类的约束解码可以用语法或 JSON Schema 限制输出形式。对于结构化结果,这能减少格式修补,字段值是否符合业务规则仍得验证。作者还提出固定种子、用不同采样温度生成 N 次,再用多数投票选答案。原文没有数据证明这样更可靠,也未说明代码写法不同时如何判为同一个答案。同一份含混规格可能让多次生成共享同一个错误。手头已有可执行测试时,我会优先让候选实现跑同一组断言。
能拿来做什么
- 下次让 agent 改前端列表排序时,先写一个包含
[10, 2, 1]的用例,断言数字升序。如果调用方还依赖输入数组的原顺序,把这项约束也写进测试。 - 让 agent 重命名 TypeScript 函数时,把
tsc --noEmit和全库搜索旧符号放在同一次验证里。看到旧名残留,先确认它是漏改的调用点,还是仍需保留的兼容入口。 - 改 Node 接口的分页逻辑时,先覆盖空结果、恰好一页和多出一条记录的情况。若分页数据有稳定顺序,再检查把各页拼起来是否与完整结果一致。
- 长会话里突然出现规则写反时,保留失败用例,从正常提交审查相关 diff。需要重跑时,把预期行为和失败输出放到当前指令里,再看问题能否重现。