用七个测试场景把关 Agent 上线
作者把一条正常路径、四种故障场景和两项控制流测试设为 Agent 的上线门槛,要求在运行前写明每个场景的预期结果。正常路径同时检查步骤顺序、输出正确性、写入位置和完成状态。
AI 深度解读
一个会查资料、调 API、写数据库的 AI Agent,上线前该测到什么程度?作者团队把七个具体场景设成部署门槛。每个场景都要在运行前写好预期结果,缺了测试就不能部署。七项里只有一项测一路顺风,其余都在确认碰到异常或需要人工决策时,流程会走到哪里。
这套方法最值得借鉴的是它把「表现正常」拆成了可以核对的动作。查不到资料该报什么状态?数据库写入失败会不会把前面的活再做一遍?审批没回音时,后续写操作到底停没停?
先定好通过条件,再跑一遍真实任务
作者把首发门槛定为一条正常路径、四种失败或异常场景,以及两条控制流路径。他认为,如果一开始就要求写完 50 个场景,首次部署容易一拖再拖。团队用 build-ready 表示达到了这道门槛,并在 Test & Incident Database 里维护三列。Expected Outcome 在运行前填,Actual Outcome 在运行后填,Status 根据两者是否一致标成 Passed 或 Failed。
这里有两种状态容易混。测试里的 Passed 表示行为符合预期,因此工具故障让 Agent 以 failed 收尾,测试仍然可以通过。预期提前写好,评审的人才能判断这个结果是原本就被允许,还是看完日志才决定接受。
正常路径从 Miro Frame 03 的工作流定义出发。选一条接近生产复杂度的有效输入,让工具正常工作,再逐步核对执行顺序、输出内容、写入位置和终态 completed。只断言最后返回成功,会漏掉步骤被跳过、结果写错位置这类问题。用过于简单的输入,也很难让该跑的步骤都跑起来。
四种异常,各自查状态、日志和副作用
无效输入和空结果要有各自的终态。 无效输入测的是 Miro Frame 02 的校验层。按触发器要求,分别删掉一个必填字段、破坏另一个字段、发送空载荷。Agent 应立即拒绝,记录校验失败,返回 failed_input_validation,写入仅限 workflow_runs。空结果用的则是有效输入,检索正常执行,只是没有内容达到相关性阈值。可以刻意缩小搜索范围来复现,预期是 no_results,且暂存区 staging 没有写入。把这类空结果一律记成 failed,排障时就得再查一遍检索到底有没有跑,重试也未必能找到新东西。
关键工具出故障时,按 Miro Frame 07 对应的工具契约来测。用 Mock 让工具返回 500 或超时。契约规定重试 N 次,就核对实际次数。重试耗尽后,有备用工具就检查是否切换。没有备用工具时,应以 failed 收尾。日志要能查到工具名、错误原因、重试次数、是否尝试切换和最终状态。作者把 N 留给各工具的契约决定。
写入故障发生得更晚,此时前面的工作已经做完。可以模拟数据库因权限问题、连接超时或载荷被拒而无法完成插入,检查错误是否记录、交付是否仍在可行时尝试。交付成功则记 partial_success,写入和交付都失败则记 failed。作者要求把重试限制在写入步骤,并验证整条工作流只执行了一次,否则前面已产生的结果可能重复出现。
审批要真停,备用工具要真跑
审批测试先检查 Agent 准备并提交提案后,执行确实暂停。然后分三次运行。批准后应继续并完成,拒绝后应干净退出并记录 rejected,等待超时则应停在 pending_review。真正要查的是等待期间和超时之后有没有执行后续动作。日志里出现「等待审批」,单凭这一点判断不了写操作是否被拦住。
工具故障测试核对的是契约规定的处理过程,备用路径测试再往后走一步,验证备用工具能否接下任务。直接禁用主工具,检查备用工具有没有被调用、结果是否可用、切换过程是否正常。降级后的结果可能质量更低,按质量判定 completed 或 partial_success,日志也要区分两条调用路径。原文没给出通用的质量门槛,团队得在开测前写明什么结果仍算可用。
我的判断
我赞成把终态和副作用一起写进验收。常见的 API 冒烟测试能确认入口通了、响应回来了,但要回答「无效输入有没有写业务表」「审批挂起时有没有执行后续动作」,还得看调用记录和数据状态。把这些断言放进部署门槛,比靠人读一遍 Agent 的最终回复更容易复查。
「七项是最小集合」和「过了就不会危险」是作者的经验判断。原文描述了他们团队的门槛,没有给出测试通过前后的事故数据,也没有拿七项和其他数量做对照。一个只做搜索的 Agent 可能没有审批和写入路径。一个会操作多套系统的 Agent 则可能遇到写入已提交、响应却超时的情况,此时只重试写入也可能产生重复记录。到了这类流程,我会额外验证同一笔写入重复提交时只生效一次。七项能提供首发验收的框架,具体覆盖范围还得由工作流和副作用决定。
能拿来做什么
- 给 Node 里的 Agent 工作流挑一条接近生产的输入,在跑测试前写下预期调用顺序、输出、写入位置和终态,正常路径按这四项验收。
- 用 Mock 分别造出检索无结果、工具返回
500或超时、数据库插入失败,核对终态、重试边界和实际写入。测试写入失败时,再断言前置步骤只执行了一次。 - 给有人工审批的流程分别跑批准、拒绝和超时,用模拟时钟推进到截止时间,并断言等待期间以及超时后都没有触发后续写操作。
- 给已配置备用工具的流程禁用主工具,提前写明降级结果的可用标准,再核对终态和日志能否反映实际走过的路径。