把编程智能体的规则纳入版本控制和测试
文章从一份 20 项检查清单中提出,把提示词、规则、工具配置和执行策略纳入版本控制,并在合并配置变更时运行校验,以便追溯行为变化和发现回归。
AI 深度解读
给编码 Agent 加了一条规则,几天后它突然跳过测试,你能查到是哪次改动造成的吗?作者的建议是把规则文件当作系统输入来维护。配置要有版本记录,合并前要检查关键行为,运行中还要给重试和开销设界限。
作者从自己维护的 Harness Engineering 站点里挑了三项优先做法。整份清单有 20 项,分为前馈、反馈、基础设施和团队准备度,每类 5 项。每项都描述了缺失时会出现什么故障。对已经在用编码 Agent 的团队,这些故障比「把规则写得更详细」更容易转成具体的检查。
规则改了,怎么知道 Agent 还会跑测试
IN-1 要求把提示词、规则、工具设置和执行策略纳入版本控制。Agent 行为变了,团队才有记录可查,知道当时用的是什么配置,也有依据尝试复现问题。
IN-2 要求在合并配置改动时加上验证。作者给的例子很小,检查 Agent 在结束任务前是否仍会运行测试命令。规则文件里有没有「运行测试」这几个字,可以靠文本检查确认。Agent 有没有真的调用测试命令,则要看一次实际运行。这个例子测的是后者。原文给出了可验证的行为,没有指定测试命令或验证框架。
重试何时应该交给人处理
FB-5 要求事先定义重试何时停止,以及何时把控制权交给人或上层工作流。缺了这个机制,Agent 可能在同一个问题上反复尝试,开销持续上涨,任务却没有进展。
作者把它和 FB-3 的结构化错误反馈配在一起。报错除了原始日志,还应有错误类别、发生位置和建议的恢复路径。这样,下一次尝试有具体线索可用。线索用尽或达到停止条件时,流程就把问题交出去。原文没有给出统一的重试次数,团队需要自己定边界。
花了多少 token,跑了多久
IN-4 要求跟踪 token 用量和运行时长带来的成本,设定阈值并自动告警。配置检查只能覆盖预先写下的断言,开销告警则能让团队发现任务还在继续消耗资源。告警提供的是调查线索,定位原因仍要回看配置变更和运行记录。
作者把项目规则、任务描述和工具约定归为「前馈」,也就是 Agent 开跑前收到的输入。检查、测试、审查和升级处理则属于「反馈」,用来判断 Agent 的实际表现。配置验证和成本告警,都是用运行结果检查前面给进去的东西是否达到了预期。
我的判断
最容易落地的是先挑一条团队真正依赖的行为来测,例如提交交付说明前有没有跑过测试。格式检查适合发现规则文件结构出错。行为检查更贴近作者关心的问题,但需要实际运行 Agent,也要考虑同一输入下的执行波动。单次通过只能说明这一次做到了。
作者披露了站点由自己维护。文中没有展示这些检查的实测结果,也没有给出引入前后的回归率或成本对照。三项做法的优先级属于经验判断。团队如果拿不到工具调用记录,就很难核验测试命令是否真的执行过。开销阈值也得结合自己的任务规模来定。
能拿来做什么
- 把仓库里的 Agent 规则、提示词和可提交的工具设置纳入版本控制,让配置改动和代码改动一样有记录可查。
- 选一个小型前端或 Node 任务做回归场景,每次合并规则变更时,从工具调用记录验证 Agent 是否在结束前运行了项目已有的测试命令。
- 让测试或构建失败时的反馈带上错误类别、发生位置和下一步建议,并约定重试到什么条件就转给人处理。
- 按任务记录 token 用量和运行时长,为异常开销设自动告警,方便回查当次执行经过。