基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 16:35

浏览器代理用截图还是无障碍树更省

dev.to · AI#浏览器代理#成本评估#无障碍
Editor brief · 编辑速览

作者用 67 行 Python 对比网页截图、完整无障碍树和视口内交互元素三种表示的令牌成本。方法结合 Playwright、文本分词器与图像令牌估算,摘要未给出最终对比结果。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

AI Agent 操作网页,到底该看截图,还是读无障碍树?作者用 67 行 Python 测了 6 个真实页面,发现答案取决于任务:找按钮、点链接,优先看当前视口里的交互元素;通读长页面,完整树才可能更划算。

这组实验值得读,因为它拆开了两个经常混在一起的问题:给模型看多少内容,以及模型如何准确操作。不过,样本只有一轮,图片和文本还用了不同的 token 估算方式,结论适合指导选型,不能直接当成本承诺。

完整无障碍树,为什么可能比截图更贵

原文以 Vercel Labs 开源的 agent-desktop 和 Google Computer Use 进入正式可用阶段为引子,比较 Agent 获取页面信息的三种方式。

第一种是截图,只截当前视口。作者采用 Anthropic 公布的估算公式 width * height / 750,因此一张 1280x800 截图约为 1,365 tokens。这个估算只看尺寸,不区分画面上是一个按钮,还是满屏链接。

第二种是完整无障碍树(Accessibility Tree),通过 Playwright 的 aria_snapshot() 获取页面的角色、名称、链接等文本信息。

第三种是作者构造的「视口树」:只列出当前视口中的链接、按钮、输入框等交互元素,每行一个,并附上编号。

网页截图与树状信息表示的对比示意

2026 年 11 月 17 日,作者在 1280x800 视口下测了 Wikipedia、Hacker News、GitHub 的 Playwright 仓库、Python asyncio 文档、Stripe 定价页和 BBC News。

完整树的开销,是单张截图的 2.8 到 14.5 倍。Hacker News 尤其明显:完整树要 9,905 tokens,把整页滚动截完,估算也只有 2,730 tokens。密集链接变成文本后,每个名称和角色都要占空间。

但如果任务是读完整页,比较对象就该换成整页截图。在 6 个页面里,完整树有 4 个更省。Stripe 定价页的完整树为 19,737 tokens,整页需要 30 张截图,估算为 40,950 tokens。

完整树是否划算,要看你拿它和一屏比较,还是和整页比较。

只想操作页面,就先给模型看能点什么

视口树在 6 个页面中,有 5 个比单张截图便宜。Python 文档页只需 229 tokens,对比截图的 1,365 tokens,约省到六分之一。

例外还是 Hacker News:一个视口里容纳了 167 个链接,列表达到 1,516 tokens,已经超过截图。

下面这段代码负责筛选交互元素,排除尺寸过小、隐藏或落在视口外的节点,再生成带编号的列表:

() => {
  const sel = 'a[href],button,input,select,textarea,[role=button],[role=link],[role=tab],[role=menuitem],[role=checkbox],[role=textbox],[role=combobox]';
  const out = []; let total = 0;
  for (const el of document.querySelectorAll(sel)) {
    const r = el.getBoundingClientRect(), s = getComputedStyle(el);
    if (r.width < 2 || r.height < 2 || s.visibility === 'hidden' || s.display === 'none') continue;
    total++;
    if (r.bottom < 0 || r.top > innerHeight || r.right < 0 || r.left > innerWidth) continue;
    const role = el.getAttribute('role') || el.tagName.toLowerCase();
    const name = (el.getAttribute('aria-label') || el.innerText || el.value || el.placeholder || '').trim().replace(/\\s+/g, ' ').slice(0, 60);
    out.push(`[${out.length}] ${role} "${name}"`);
  }
  return {lines: out, total, pageHeight: document.documentElement.scrollHeight};
}

要看清名称生成这一行:它优先取 aria-label,再取 innerText、value 或 placeholder,并截到 60 个字符。因此,这个「视口树」实际是 DOM 筛选结果,并不是浏览器原生无障碍树的完整裁剪版;它也没有实现完整的可访问名称计算。

静态正文被主动丢掉了。用它找按钮合适,让它读文章,就缺了关键内容。

复现实验的安装命令是 pip install playwright tiktoken 和 playwright install chromium,脚本支持通过命令行传入自己的 URL。文本使用 tiktoken.get_encoding("o200k_base") 计数;导航采用 wait_until="domcontentloaded"、timeout=45000,之后固定等待 2500 毫秒。代理则读取 HTTPS_PROXY。

这些条件会影响复测结果,尤其是异步加载、懒加载和广告较多的页面。

树的另一个价值,是让点击跟着元素走

截图操作通常让模型返回「点击 (873, 659)」;树式操作则可以返回「点击元素 41」。

作者称,在他们团队的浏览器自动化运行中,两步之间窗口尺寸发生变化时,坐标可能落到另一个按钮上,而树节点引用仍能定位原来的元素。这是团队经验,文章没有提供点击成功率或失败次数。

作者据此提出了一套选择顺序:

默认读取当前视口中的交互元素,每次操作后重新读取;遇到 Canvas、图表、图片密集页面,或没有可访问名称的自定义控件,再回退截图。视口列表超过约 1,400 tokens 时,也可以考虑截图。只有需要阅读整页,才获取完整树。

这里的 1,400 只是接近本次截图估算的阈值。换了分辨率、模型或图片处理方式,就应该重算。

还有一个实现边界:示例代码只生成编号列表,没有展示如何把编号映射回可点击节点。每次重新扫描,编号都可能变化。要获得作者描述的稳定性,还需要工具层保存元素引用,并处理页面重渲染后的失效问题。

我的判断

我认同按任务选择输入:操作时减少无关正文,阅读时保留足够上下文。这比无条件发送完整树更有依据,也比全程截图多了一条节省输入的路径。

但文章测到的是输入量,尚未证明整项任务更便宜。一次观察省下 token,如果导致多次重试,最终成本仍可能上升。与常见的全程截图方案相比,混合方案是否更好,还要比较任务完成率、操作轮数和耗时;作者没有给出这些对照数据。

图片按 Anthropic 公式估算,文本却用 OpenAI 的 o200k_base 计数,两列也不是同一模型下的精确账单。加上只有 6 页、一个视口、每页一次,比例只能作为经验参考。

前端开发者还可以从中看到可访问名称的实际价值:按钮有明确名称,自动化工具就更容易描述它。不过,仅补一个 aria-label,也不能保证整条操作链可靠。

能拿来做什么

  • 给现有浏览器 Agent 增加视口交互列表,并在每次操作后刷新;先用它完成导航、点击和表单操作,需要正文时再读取页面内容。
  • 在团队常用页面上复跑这套脚本,保留 1280x800 作为初始对照,同时记录实际任务的成功率、操作次数和耗时。
  • 检查图标按钮和自定义控件是否有明确的可访问名称,并为 Canvas、图表等难以文本描述的内容保留截图入口。
  • 把约 1,400 tokens 做成可调整的回退阈值,按实际模型和截图尺寸重新测算,避免把这次实验的数值写死。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
自建 MCP 服务并接入 Strands 代理
下一篇
Agent 上线要补齐哪些工程能力

资讯速览

dev.to · AI · 2026-11-17 16:35

AI 评分 8.0 / 10

相关标签

#浏览器代理#成本评估#无障碍

继续阅读

  • 多智能体审查找出命令沙箱绕过路径
  • 自建 MCP 服务并接入 Strands 代理
  • Agent 上线要补齐哪些工程能力
  • 本地 Agent 选模型,先看吞吐与并发
  • 为 n8n 智能体建立上线前回归测试