浏览器代理用截图还是无障碍树更省
作者用 67 行 Python 对比网页截图、完整无障碍树和视口内交互元素三种表示的令牌成本。方法结合 Playwright、文本分词器与图像令牌估算,摘要未给出最终对比结果。
AI 深度解读
AI Agent 操作网页,到底该看截图,还是读无障碍树?作者用 67 行 Python 测了 6 个真实页面,发现答案取决于任务:找按钮、点链接,优先看当前视口里的交互元素;通读长页面,完整树才可能更划算。
这组实验值得读,因为它拆开了两个经常混在一起的问题:给模型看多少内容,以及模型如何准确操作。不过,样本只有一轮,图片和文本还用了不同的 token 估算方式,结论适合指导选型,不能直接当成本承诺。
完整无障碍树,为什么可能比截图更贵
原文以 Vercel Labs 开源的 agent-desktop 和 Google Computer Use 进入正式可用阶段为引子,比较 Agent 获取页面信息的三种方式。
第一种是截图,只截当前视口。作者采用 Anthropic 公布的估算公式 width * height / 750,因此一张 1280x800 截图约为 1,365 tokens。这个估算只看尺寸,不区分画面上是一个按钮,还是满屏链接。
第二种是完整无障碍树(Accessibility Tree),通过 Playwright 的 aria_snapshot() 获取页面的角色、名称、链接等文本信息。
第三种是作者构造的「视口树」:只列出当前视口中的链接、按钮、输入框等交互元素,每行一个,并附上编号。

2026 年 11 月 17 日,作者在 1280x800 视口下测了 Wikipedia、Hacker News、GitHub 的 Playwright 仓库、Python asyncio 文档、Stripe 定价页和 BBC News。
完整树的开销,是单张截图的 2.8 到 14.5 倍。Hacker News 尤其明显:完整树要 9,905 tokens,把整页滚动截完,估算也只有 2,730 tokens。密集链接变成文本后,每个名称和角色都要占空间。
但如果任务是读完整页,比较对象就该换成整页截图。在 6 个页面里,完整树有 4 个更省。Stripe 定价页的完整树为 19,737 tokens,整页需要 30 张截图,估算为 40,950 tokens。
完整树是否划算,要看你拿它和一屏比较,还是和整页比较。
只想操作页面,就先给模型看能点什么
视口树在 6 个页面中,有 5 个比单张截图便宜。Python 文档页只需 229 tokens,对比截图的 1,365 tokens,约省到六分之一。
例外还是 Hacker News:一个视口里容纳了 167 个链接,列表达到 1,516 tokens,已经超过截图。
下面这段代码负责筛选交互元素,排除尺寸过小、隐藏或落在视口外的节点,再生成带编号的列表:
() => {
const sel = 'a[href],button,input,select,textarea,[role=button],[role=link],[role=tab],[role=menuitem],[role=checkbox],[role=textbox],[role=combobox]';
const out = []; let total = 0;
for (const el of document.querySelectorAll(sel)) {
const r = el.getBoundingClientRect(), s = getComputedStyle(el);
if (r.width < 2 || r.height < 2 || s.visibility === 'hidden' || s.display === 'none') continue;
total++;
if (r.bottom < 0 || r.top > innerHeight || r.right < 0 || r.left > innerWidth) continue;
const role = el.getAttribute('role') || el.tagName.toLowerCase();
const name = (el.getAttribute('aria-label') || el.innerText || el.value || el.placeholder || '').trim().replace(/\\s+/g, ' ').slice(0, 60);
out.push(`[${out.length}] ${role} "${name}"`);
}
return {lines: out, total, pageHeight: document.documentElement.scrollHeight};
}
要看清名称生成这一行:它优先取 aria-label,再取 innerText、value 或 placeholder,并截到 60 个字符。因此,这个「视口树」实际是 DOM 筛选结果,并不是浏览器原生无障碍树的完整裁剪版;它也没有实现完整的可访问名称计算。
静态正文被主动丢掉了。用它找按钮合适,让它读文章,就缺了关键内容。
复现实验的安装命令是 pip install playwright tiktoken 和 playwright install chromium,脚本支持通过命令行传入自己的 URL。文本使用 tiktoken.get_encoding("o200k_base") 计数;导航采用 wait_until="domcontentloaded"、timeout=45000,之后固定等待 2500 毫秒。代理则读取 HTTPS_PROXY。
这些条件会影响复测结果,尤其是异步加载、懒加载和广告较多的页面。
树的另一个价值,是让点击跟着元素走
截图操作通常让模型返回「点击 (873, 659)」;树式操作则可以返回「点击元素 41」。
作者称,在他们团队的浏览器自动化运行中,两步之间窗口尺寸发生变化时,坐标可能落到另一个按钮上,而树节点引用仍能定位原来的元素。这是团队经验,文章没有提供点击成功率或失败次数。
作者据此提出了一套选择顺序:
默认读取当前视口中的交互元素,每次操作后重新读取;遇到 Canvas、图表、图片密集页面,或没有可访问名称的自定义控件,再回退截图。视口列表超过约 1,400 tokens 时,也可以考虑截图。只有需要阅读整页,才获取完整树。
这里的 1,400 只是接近本次截图估算的阈值。换了分辨率、模型或图片处理方式,就应该重算。
还有一个实现边界:示例代码只生成编号列表,没有展示如何把编号映射回可点击节点。每次重新扫描,编号都可能变化。要获得作者描述的稳定性,还需要工具层保存元素引用,并处理页面重渲染后的失效问题。
我的判断
我认同按任务选择输入:操作时减少无关正文,阅读时保留足够上下文。这比无条件发送完整树更有依据,也比全程截图多了一条节省输入的路径。
但文章测到的是输入量,尚未证明整项任务更便宜。一次观察省下 token,如果导致多次重试,最终成本仍可能上升。与常见的全程截图方案相比,混合方案是否更好,还要比较任务完成率、操作轮数和耗时;作者没有给出这些对照数据。
图片按 Anthropic 公式估算,文本却用 OpenAI 的 o200k_base 计数,两列也不是同一模型下的精确账单。加上只有 6 页、一个视口、每页一次,比例只能作为经验参考。
前端开发者还可以从中看到可访问名称的实际价值:按钮有明确名称,自动化工具就更容易描述它。不过,仅补一个 aria-label,也不能保证整条操作链可靠。
能拿来做什么
- 给现有浏览器 Agent 增加视口交互列表,并在每次操作后刷新;先用它完成导航、点击和表单操作,需要正文时再读取页面内容。
- 在团队常用页面上复跑这套脚本,保留
1280x800作为初始对照,同时记录实际任务的成功率、操作次数和耗时。 - 检查图标按钮和自定义控件是否有明确的可访问名称,并为 Canvas、图表等难以文本描述的内容保留截图入口。
- 把约 1,400 tokens 做成可调整的回退阈值,按实际模型和截图尺寸重新测算,避免把这次实验的数值写死。