浏览器自动化实验揭示静默数据错误
作者对三个 AI 生成的 Playwright 工具进行页面变更实验,66 次运行中有 16 次返回错误数据却报告成功,未触发修复。加入模式校验和四项页面核对后,这些错误均被识别,实验代码与运行记录已公开。
AI 深度解读
AI 生成的 Playwright 工具返回成功,订单就真的取消了吗?作者在一个订单页上做了 66 次运行,发现 16 次返回了错误数据,却没有报错。依赖报错触发的自动修复,根本看不到这些失败。
这项实验值得看的地方,是它把「代码跑通」和「任务完成」拆开验证了。对于用 AI 编写浏览器脚本、把网页包装成 Agent 工具的程序员,真正需要补上的,可能不是更强的修复模型,而是让错误暴露出来的检查。
16 次静默失败,是怎么测出来的
实验对象很小:一个从 API 加载数据的订单页,共 12 笔订单,其中 8 笔处于开放状态,每行有一个 Cancel 按钮。工具需要完成两个任务:列出开放订单的 id、customer、total,以及取消订单 A-1003。
作者用 claude -p --model sonnet,根据基准页面渲染后的 HTML 生成工具,独立生成了 3 次。模型只能看到任务提示和 HTML,没有其他工具、项目文件或 CLAUDE.md。
随后,作者准备了基准版本和 10 个改动版本。每组实验包含 3 个工具、11 个页面版本、2 项任务,共 66 次运行,其中 60 次发生在改动页面上。
工具报错后,模型会拿到错误、代码和改动后的 HTML,每次运行最多修复 2 次。作者再用服务器数据判定结果:正确、明确报错,或没有报错但结果错误,也就是「静默失败」。对于页面错误提示和服务器拒绝取消的情况,报错才是正确结果。
第一组实验里,16 次进入修复的运行,最终都正确完成或明确报错。但另有 16 次静默失败,占全部运行约四分之一,它们完全绕过了修复流程。
自动修复能处理的,是检查机制已经发现的失败。
为什么代码没有报错,数据却错了
问题集中在一类代码上:遇到异常时,返回一个看起来合法的值。
第三个生成工具中的两行代码,分别把金额解析失败变成 0,把等待超时变成继续执行:
return Number.isNaN(n) ? 0 : n; // 缺失的金额变成 0
await page.waitForSelector(ROW, { timeout: 10000 }).catch(() => {}); // 超时变成空列表
要看的是 ? 0 : n 和 .catch(() => {}):异常在这里消失了,后面的流程收到的仍然是数字或列表。
另外两个工具也返回过金额 0,只是路径不同:它们把页面里的 — 清理成空字符串,而 Number("") 的结果恰好是 0。
区域格式又带来了另一种错误。3 个金额解析器都会先删除逗号,导致德式金额格式的小数含义丢失。解析出来的 1.2345 仍然是正数,单看类型和取值范围,很难发现问题。
取消操作则暴露了界面状态与业务状态之间的差距。3 个工具都把「订单行离开页面」当作取消成功。在 cancel-409 场景里,服务器拒绝了操作,页面却仍然移除了那一行。工具看到预期画面,便报告成功。
这几个问题都很常见:兜底值方便调用方继续运行,吞掉异常能减少脚本中断,界面变化也容易观察。但当它们被拿来证明业务成功时,错误就被包装成了正常结果。
加了校验,为什么仍然不能保证全对
作者先检查输出结构(schema):id 和 customer 不能为空,total 必须是正数。它只抓到了 3 次金额为 0 的运行。
原因很直接:空列表也是合法列表,错误的正数也能通过校验。
作者随后增加了四项来自页面的检查:
- 页面不能出现
role="alert"错误提示。 - 页面显示的「N open orders」必须与工具返回的订单数量一致。
- 每笔金额的数字部分必须与对应页面行一致。
- 取消后重新加载,开放订单应减少一笔,且目标 id 对应的行不再出现。
这些检查抓到了剩余 13 次静默失败。原来的 16 次里,8 次修复正确,包括 locale-format 3 次、late-rows 2 次、card-layout 2 次、css-rename 1 次;5 次因错误提示或取消被拒而正确报错;另外 3 次 api-rename 在修复 2 次后仍然报错。
加入校验后的整组实验,共 27 次运行需要修复,19 次最终正确,8 次最终报错:api-rename 3 次、错误页面上的取消操作 3 次、延迟加载行时的取消操作 2 次。
不过,校验也误判了。在 api-rename 中,两个修复后的工具已经从 API 读到了正确金额,但页面显示 —,第三项检查仍然判定失败。作者将它们计为报错。
没有静默失败,不等于所有任务都完成了。
它表示错误结果不再悄悄流出,也可能包含正确结果被拦截的情况。
我的判断
这项实验最有用的结论,是评估浏览器工具时,要验证「它是否会在该失败时失败」。只统计修复了多少次,会漏掉从未触发修复的错误。
但标题里的四分之一不能当作行业故障率。样本只有同一模型生成的 3 个工具、两个任务和一个小页面;改动也是作者设计的。固定生成代码可以复现这些数字,重新生成代码则可能得到不同结果。
更关键的前提是,四项检查是在作者看过前两组实验的静默失败后编写的,而且知道这个页面的计数标签和行结构。它们有效,但还没有证明能直接推广到其他网站。
仓库 qa-gary-parker/poc-ai-tool-silent-failures 还提供了一个手写、带 Playwright assertions 的工具,22 次运行没有静默失败。不过作者编写时已经知道页面改动,因此不能据此断言手写工具优于 AI 生成工具。
相比只做 schema 校验,页面计数和操作后重读能补上业务语义;相比直接核对服务器数据,页面检查更容易部署,却可能受到展示错误影响。原文的误判正好提醒我们:验证依据也需要选择。页面、API 和服务器状态不一致时,到底以谁为准,必须由任务要求决定。
能拿来做什么
- 审查 AI 生成的 Playwright 脚本时,搜索
.catch(() => {})、isNaN(n) ? 0 : n,以及可能接收空文本的Number(),逐项确认兜底值会不会掩盖失败。 - 给订单列表这类采集任务同时增加字段校验和数量核对。返回结构合法,只能证明它能被消费,不能证明内容完整。
- 对取消、删除等有状态操作,增加刷新或重新读取后的确认,不要仅凭按钮消失、弹窗关闭、列表行移除就报告成功。
- 评估带自动修复的 Agent 工具时,单独统计「成功返回但业务结果错误」的运行,并记录校验误判。修复次数之外,还要看错误是否被发现。