基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 20:13

浏览器自动化实验揭示静默数据错误

dev.to · AI#浏览器自动化#AI生成代码#数据校验
Editor brief · 编辑速览

作者对三个 AI 生成的 Playwright 工具进行页面变更实验,66 次运行中有 16 次返回错误数据却报告成功,未触发修复。加入模式校验和四项页面核对后,这些错误均被识别,实验代码与运行记录已公开。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

AI 生成的 Playwright 工具返回成功,订单就真的取消了吗?作者在一个订单页上做了 66 次运行,发现 16 次返回了错误数据,却没有报错。依赖报错触发的自动修复,根本看不到这些失败。

这项实验值得看的地方,是它把「代码跑通」和「任务完成」拆开验证了。对于用 AI 编写浏览器脚本、把网页包装成 Agent 工具的程序员,真正需要补上的,可能不是更强的修复模型,而是让错误暴露出来的检查。

16 次静默失败,是怎么测出来的

实验对象很小:一个从 API 加载数据的订单页,共 12 笔订单,其中 8 笔处于开放状态,每行有一个 Cancel 按钮。工具需要完成两个任务:列出开放订单的 id、customer、total,以及取消订单 A-1003。

作者用 claude -p --model sonnet,根据基准页面渲染后的 HTML 生成工具,独立生成了 3 次。模型只能看到任务提示和 HTML,没有其他工具、项目文件或 CLAUDE.md。

随后,作者准备了基准版本和 10 个改动版本。每组实验包含 3 个工具、11 个页面版本、2 项任务,共 66 次运行,其中 60 次发生在改动页面上。

工具报错后,模型会拿到错误、代码和改动后的 HTML,每次运行最多修复 2 次。作者再用服务器数据判定结果:正确、明确报错,或没有报错但结果错误,也就是「静默失败」。对于页面错误提示和服务器拒绝取消的情况,报错才是正确结果。

第一组实验里,16 次进入修复的运行,最终都正确完成或明确报错。但另有 16 次静默失败,占全部运行约四分之一,它们完全绕过了修复流程。

自动修复能处理的,是检查机制已经发现的失败。

为什么代码没有报错,数据却错了

问题集中在一类代码上:遇到异常时,返回一个看起来合法的值。

第三个生成工具中的两行代码,分别把金额解析失败变成 0,把等待超时变成继续执行:

return Number.isNaN(n) ? 0 : n;                                       // 缺失的金额变成 0
await page.waitForSelector(ROW, { timeout: 10000 }).catch(() => {});  // 超时变成空列表

要看的是 ? 0 : n 和 .catch(() => {}):异常在这里消失了,后面的流程收到的仍然是数字或列表。

另外两个工具也返回过金额 0,只是路径不同:它们把页面里的 — 清理成空字符串,而 Number("") 的结果恰好是 0。

区域格式又带来了另一种错误。3 个金额解析器都会先删除逗号,导致德式金额格式的小数含义丢失。解析出来的 1.2345 仍然是正数,单看类型和取值范围,很难发现问题。

取消操作则暴露了界面状态与业务状态之间的差距。3 个工具都把「订单行离开页面」当作取消成功。在 cancel-409 场景里,服务器拒绝了操作,页面却仍然移除了那一行。工具看到预期画面,便报告成功。

这几个问题都很常见:兜底值方便调用方继续运行,吞掉异常能减少脚本中断,界面变化也容易观察。但当它们被拿来证明业务成功时,错误就被包装成了正常结果。

加了校验,为什么仍然不能保证全对

作者先检查输出结构(schema):id 和 customer 不能为空,total 必须是正数。它只抓到了 3 次金额为 0 的运行。

原因很直接:空列表也是合法列表,错误的正数也能通过校验。

作者随后增加了四项来自页面的检查:

  1. 页面不能出现 role="alert" 错误提示。
  2. 页面显示的「N open orders」必须与工具返回的订单数量一致。
  3. 每笔金额的数字部分必须与对应页面行一致。
  4. 取消后重新加载,开放订单应减少一笔,且目标 id 对应的行不再出现。

这些检查抓到了剩余 13 次静默失败。原来的 16 次里,8 次修复正确,包括 locale-format 3 次、late-rows 2 次、card-layout 2 次、css-rename 1 次;5 次因错误提示或取消被拒而正确报错;另外 3 次 api-rename 在修复 2 次后仍然报错。

加入校验后的整组实验,共 27 次运行需要修复,19 次最终正确,8 次最终报错:api-rename 3 次、错误页面上的取消操作 3 次、延迟加载行时的取消操作 2 次。

不过,校验也误判了。在 api-rename 中,两个修复后的工具已经从 API 读到了正确金额,但页面显示 —,第三项检查仍然判定失败。作者将它们计为报错。

没有静默失败,不等于所有任务都完成了。

它表示错误结果不再悄悄流出,也可能包含正确结果被拦截的情况。

我的判断

这项实验最有用的结论,是评估浏览器工具时,要验证「它是否会在该失败时失败」。只统计修复了多少次,会漏掉从未触发修复的错误。

但标题里的四分之一不能当作行业故障率。样本只有同一模型生成的 3 个工具、两个任务和一个小页面;改动也是作者设计的。固定生成代码可以复现这些数字,重新生成代码则可能得到不同结果。

更关键的前提是,四项检查是在作者看过前两组实验的静默失败后编写的,而且知道这个页面的计数标签和行结构。它们有效,但还没有证明能直接推广到其他网站。

仓库 qa-gary-parker/poc-ai-tool-silent-failures 还提供了一个手写、带 Playwright assertions 的工具,22 次运行没有静默失败。不过作者编写时已经知道页面改动,因此不能据此断言手写工具优于 AI 生成工具。

相比只做 schema 校验,页面计数和操作后重读能补上业务语义;相比直接核对服务器数据,页面检查更容易部署,却可能受到展示错误影响。原文的误判正好提醒我们:验证依据也需要选择。页面、API 和服务器状态不一致时,到底以谁为准,必须由任务要求决定。

能拿来做什么

  • 审查 AI 生成的 Playwright 脚本时,搜索 .catch(() => {})、isNaN(n) ? 0 : n,以及可能接收空文本的 Number(),逐项确认兜底值会不会掩盖失败。
  • 给订单列表这类采集任务同时增加字段校验和数量核对。返回结构合法,只能证明它能被消费,不能证明内容完整。
  • 对取消、删除等有状态操作,增加刷新或重新读取后的确认,不要仅凭按钮消失、弹窗关闭、列表行移除就报告成功。
  • 评估带自动修复的 Agent 工具时,单独统计「成功返回但业务结果错误」的运行,并记录校验误判。修复次数之外,还要看错误是否被发现。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
接口成功后,智能体仍可能做错业务
下一篇
语音智能体落地,难在实时业务接入

资讯速览

dev.to · AI · 2026-11-16 20:13

AI 评分 8.0 / 10

相关标签

#浏览器自动化#AI生成代码#数据校验

继续阅读

  • 用 Bedrock 搭建提示注入回归门禁
  • 接口成功后,智能体仍可能做错业务
  • 语音智能体落地,难在实时业务接入
  • 编码 Agent 的记忆,哪些应该随项目迁移
  • PDF 抽取如何做到逐字段可追溯