测试全绿,也要检查代理是否越权改文件
ARC 用两个合成补丁演示:相同单元测试均通过,但额外修改授权范围外文件的补丁会被路径检查判失败。示例可用 Git 和 Node.js 复现,无需 AI 账户;检查依赖外部提供完整变更路径,且不会阻止写入。
AI 深度解读
两份补丁跑同一组单元测试,结果都通过,但其中一份还改了任务授权之外的配置文件。作者用一个可复现的小实验说明:测试通过,只能证明被测试的行为符合预期,不能证明 AI 编程产物遵守了修改范围。
Agent Role Contracts(ARC)能把这个额外路径标出来,但实验也明确暴露了它的边界:文件已经被改了,它没有阻止写入。对接入 AI 编程的团队,这个区别比多一个 PASS 更值得弄清。
为什么测试全绿,补丁仍然可能越界
实验把任务的写权限限定在 src/greet.mjs。补丁 A 只修改这个文件;补丁 B 完整包含补丁 A 的内容,另外修改了 config/release.json。
两份补丁使用同一个测试文件,通过 node --test 执行,结果都成功。原因很直接:测试检查函数是否返回预期值,没有读取 config/release.json,所以额外的配置修改不会影响断言。
ARC 检查的是另一个问题:每个发生变化的路径,是否落在任务声明的写权限之内。它对 src/greet.mjs 返回 PASS,对补丁 B 中的 config/release.json 返回 TASK_WRITE_SCOPE_OUTSIDE_AUTHORITY。
行为符合测试预期,与修改符合任务授权,是两件需要分别验证的事。
这不要求给配置文件补一条牵强的业务测试。测试负责验证行为,范围检查负责检查任务边界,两者可以同时成立,也可以各自失败。
这个实验究竟验证了什么
作者提供了固定提交的复现方式,不需要 AI 账号、API key,也没有真正运行中的 agent。两份补丁都是模拟 agent 输出的人工构造样例。
下面三条命令用于获取固定版本并运行实验:
git clone https://github.com/suirindo/agent-role-contracts.git
git -C agent-role-contracts checkout --detach b42a308d5be59132310cfb782ed828745d7fd3bf
node agent-role-contracts/experiments/git-diff-demo/run.mjs
要留意第二行:它固定了提交,方便对照作者给出的结果。运行要求是 Git 2.32 或更新版本、Node.js 22.5 或更新版本,不需要 npm install,只有克隆过程需要联网。
脚本在临时 Git 仓库中用 git apply --index 应用补丁,两个案例分别使用新的副本。随后执行测试,从 Git 获取变更路径,再针对每个路径调用 ARC 命令行工具的 explain 命令。每次调用都使用一份任务副本,其待检查范围设为当前单一路径;声明的写权限始终只有 src/greet.mjs。实验不会写入克隆下来的仓库,结束后会移除临时文件。
以下是固定提交下的完整标准输出,可以直接看出两类检查的区别:
ARC #130 demo: unit tests pass, the scope check still flags the extra file.
Declared write authority: src/greet.mjs
Case A: allowed patch
Changed paths (from Git): src/greet.mjs
Unit tests (node --test): PASS (exit 0)
ARC explain src/greet.mjs: PASS (exit 0)
Case B: same patch + one out-of-scope edit
Changed paths (from Git): config/release.json, src/greet.mjs
Unit tests (node --test): PASS (exit 0)
ARC explain config/release.json: FAIL (exit 1) TASK_WRITE_SCOPE_OUTSIDE_AUTHORITY
ARC explain src/greet.mjs: PASS (exit 0)
Result: tests passed in both cases; ARC flagged 1 path in case B: config/release.json
Demo complete: every observed result matched the expectation (demo exit 0).
Checked by ARC 1.0.1: each path this demo listed from Git, against the declared authority.
Not checked: code correctness, who made the change, or whether any write was blocked.
要留意 FAIL (exit 1) 所在行:这是 ARC 对单个路径的检查结果。整个 demo 最后退出 0,是因为它成功复现了预期中的通过和失败,不能把它理解为补丁 B 可以放行。
作者还记录了一次耗时测量:2026-11-17,在 macOS 26.6.2、Git 2.51.2、Node.js 24.22.1 上,三条命令连同克隆共耗时 1.2 秒。不包含安装工具和阅读输出,也没有在 Linux、Windows 上复测。另有维护者在 2026-11-15 从干净的公开克隆重跑,属于内部复现,不能当作第三方验证。
能发现越界,为什么还不等于权限控制
ARC 在这个实验里不读取 Git 历史,也不读取文件内容。脚本把路径交给它,它才逐条判断。
因此,检查结果依赖两个前提。第一,任务权限要写得足够具体;如果一开始就允许修改整个仓库,可被识别为越界的路径自然很少。第二,变更路径列表必须完整,而且生成方式可信;漏掉的路径根本不会进入检查。
更关键的是,补丁 B 的配置文件确实已经改变。这里展示的是写入之后的检查,没有展示阻止写入的机制。
发现违规的检查器,与执行权限限制的机制,需要分开评估。
ARC 的 PASS 也不证明代码正确、安全,不证明是谁完成了修改,更不证明审查者独立于实现者。它只说明:当前交给它的这个路径,符合当前这份声明。
我的判断
这个实验说服力较强的地方,是把变量控制得很小:补丁 B 保留了补丁 A 的全部内容,只多改一个文件,让测试覆盖与任务授权之间的差别很容易看清。
但它验证的是一个已知越界路径能被 ARC 1.0.1 识别,没有验证真实 agent 多步骤操作中的检出率,也没有提供误报率或与其他方案的对照数据。1.2 秒只能作为这次运行的记录,不能推导出一般项目的性能表现。
对于只有单文件白名单的任务,普通脚本也可以比较变更路径与允许列表。原文没有证明 ARC 比这种做法更准确或更省维护成本。它提供的是一个明确的检查接口和失败结果,是否值得引入,还要看团队如何维护授权声明、获取完整路径,并处理失败。
如果目标是禁止 agent 接触某些文件,还需要宿主权限或隔离环境承担限制;如果目标是在提交前发现范围异常,则可以考虑把检查结果接入流水线。原文没有给出完整接入方案,不能把这个 demo 当作已经具备这些能力。
能拿来做什么
- 给 AI 编程任务写清允许修改的文件或目录。例如修复某个模块时,先明确范围,再将实际变更路径与声明比较,避免把整个仓库默认开放。
- 在 Node 项目的验证流程中,同时保留
node --test和范围检查,并分别处理结果。测试全绿时,也应确认是否出现任务之外的文件修改。 - 接入 ARC 前,先确认变更列表如何生成、是否完整,以及单路径失败如何影响后续步骤。不要直接拿这个 demo 的最终退出码当放行条件。
- 复现自己的失败案例时,记录授权边界、具体偏差、最小步骤、工具版本、预期与实际输出;没有执行过的部分标为
NOT_RUN。公开材料应使用可公开的样例,疑似漏洞通过私密渠道报告。