子智能体权限测试别绕过真实校验
文章以GitLab AI Catalog为例,分析全局模拟StageCheck.available?返回true如何掩盖子智能体阶段与功能可用性问题。重点场景是父流程未使用include块、直接引用子智能体时,需要验证真实遍历和校验逻辑。
AI 深度解读
多智能体流程的测试全绿,线上委派却可能失败:如果把负责检查阶段、许可证和功能开关的校验器统一替换成「返回 true」,测试就绕开了最需要验证的逻辑。作者在 GitLab AI Catalog 的 MR !271084 中,针对省略 include 的子智能体引用恢复真实校验。
这篇的价值是指出一个具体的测试盲区:流程结构发生变化时,测试有没有真正走过权限与可用性的判断路径?
流程能引用子智能体,不代表它就能执行
GitLab AI Catalog 允许平台团队用声明式配置定义 AI 流程。父流程可以组合步骤,也可以把任务交给专门的子智能体。
这里有两件不同的事:一是找到被引用的子智能体,二是确认当前条件允许执行它。后者由 StageCheck.available? 检查,涉及子智能体的阶段元数据、许可证和功能开关等限制。
可以把它理解为:配置里写得出某个能力,不等于当前环境已经获准使用。
作者关注的是一个结构边界:父流程直接引用子智能体,却没有显式声明 include。这种情况下,校验器仍然需要沿着引用找到子智能体,再检查它的可用性。如果引用解析方式因 schema 变化而改变,这条路径就可能出错。
统一返回 true,会让关键测试失去证明力
原有测试的风险在于,全局把 StageCheck.available? 替换成返回 true 的测试替身。
这样做可以隔离其他逻辑,但它无法证明真实校验器会正确遍历子智能体。即使省略 include 后的引用解析已经损坏,测试也可能继续通过,因为检查阶段根本没有执行。
当测试要验证的就是准入规则时,把规则直接替换成「允许」,就绕开了测试目标。
作者在 gitlab-org/gitlab 的 MR !271084 中重构了相关验证测试。这个 MR 的标题是 test(ai): use real stage check for flows without include,由 Fiona McCawley 和 Hannah Baker 批准。
按作者的描述,修改让省略 include 的流程调用真实的 StageCheck.available?,验证它能够遍历子智能体引用,并执行阶段可用性限制。
这里的「真实」指向校验实现和流程引用结构。原文没有展示测试代码,也没有说明是否执行了真实模型调用,不能把它扩大理解成完整的多智能体端到端测试。
我的判断
这个取舍是合理的。若测试目标是验证结构变化会不会影响准入判断,保留真实校验器,比预先指定它的返回值更有证明力。相比只检查「有没有调用校验函数」,它还能覆盖引用解析与规则判断之间的连接。
但作者把结论写得过满了。
开头声称使用替身就能保证缺陷悄悄进入生产,这并不严谨。其他集成测试仍可能发现问题。更准确的结论是:这组被替换了校验器的测试,无法承担发现此类缺陷的职责。
作者还将 GitLab Duo Agent Platform 与 AI Catalog 的阶段校验,描述为提供「密码学与策略确定性」。文中没有给出密码学机制、证明过程或相关测试证据,阶段校验本身不足以支撑这个说法。
原文也没有提供修改前后的失败用例、覆盖率或生产故障对照数据。因此,这是一项有明确理由的测试修正,不能据此推导出缺陷率下降了多少。
至于「永远不要 mock 策略校验器」,适用范围也应收窄。测试其他业务分支时,替身仍然有用;验证策略是否正确生效时,才需要让真实判断参与进来。
能拿来做什么
- 如果你的 Node 服务支持父任务委派子任务,可以检查测试是否把权限或能力校验统一设为成功,并为引用解析与准入判断保留真实实现参与的测试。
- 如果流程配置允许省略
include一类声明,应把这种合法结构单独列为测试场景,验证它是否仍能找到子任务并执行限制。 - 修改 schema 或引用解析逻辑时,检查相关测试是否覆盖实际判断结果。仅仅断言校验函数被调用,无法证明它检查了正确的子智能体。
- 在 AI 编程工具帮助生成测试后,重点审查它添加的 mock:凡是决定「允许还是拒绝」的函数,都要确认有没有被替身掩盖了待验证的行为。