虚拟列表复用节点,浏览器智能体容易点错
一套通过 750 个本地测试的浏览器自动化工具,在真实网页上仍遇到元素定位错误。虚拟列表滚动时会保留节点及其引用,却把节点对应的数据换成另一行,作者因此在执行点击前复核页面帧和元素文本。
AI 深度解读
750 个本地测试全绿,浏览器代理跑了一夜真实网站,还是会点错列表行、填错表单,甚至刚拿到搜索框的引用就用不了。作者用自己的 Playwright MCP 服务 turbo-browser-mcp 跑了 Gmail、Wikipedia、Reddit 和 Dover ATS 表单,遇到四类测试夹具没覆盖的问题。
最值得读的是它怎么判断「这个引用还指向刚才那个目标」。碰到虚拟列表、动态表单和客户端初始化时,DOM 节点、业务对象和字段标识会各自变化。到了后台标签页,连目标控件能不能挂载都成了问题。
同一个 DOM 节点,为什么点到了另一行
浏览器代理先取页面快照,再用快照里的引用执行操作。服务可能在节点上写入 data-tbm-ref="e4",模型下一轮传回 ref: "f0:e4"。普通 SPA 重渲染如果替换了子树,旧属性会随节点一起消失,工具还能明确报引用失效。
react-window 这类虚拟列表会复用屏幕上的 DOM 节点。滚动后,节点的文字和事件处理器被换成另一条数据,data-tbm-ref 还在。原本指向第 0 行的引用,于是可能点到第 14 行。作者给按钮、链接和可点击行记录 frameLoaderId 与归一化 textContent 的前 128 个字符,执行前任一项有变化,就拒绝操作并要求重新调用 inspect_compact。
输入控件得用另一套规则。<input>、<textarea>、<select> 和 contenteditable 的值需要允许变化,否则同一字段连填两次就会误报。作者用 #id: 开头的签名记录标签名、type、name、id、aria-label、placeholder、role、title 和解析后的 <label> 文本,并把 (12/160) 这类实时字数提示归一化成 (#/#)。
三个一模一样的 Phone 输入框怎么分
重复表单里的字段可能连标签和属性都一样。加上从 0 开始的索引,可以检测互换位置,但删掉第一行后,后两行的索引也会变。作者在 ba47c55 和 3446e79 中把比较范围缩到最近一个容纳至少两个相同字段的祖先,并记录 0/3、1/3、2/3 这样的「索引/总数」。
下面两行原文注释说明了重排与删除分别怎么处理。
// When group size stays 3 (a reorder or swap), an index change is a stale ref error.
// When group size changes (3 -> 2 after deleting a row), shift by (curTotal - storedTotal)
// and attach a one-time note so surviving refs still fill the right inputs.
要看第二行的 curTotal - storedTotal。按注释里的规则,组从 3 项变成 2 项时偏移量是 -1,能解释删首行后其余字段前移一位。原文没交代删除中间项或末项时,如何判断哪些字段真的该前移。
分组边界还取决于 HTML 怎么写。两个 <fieldset> 各装三个 Phone 字段,用 insertBefore 交换整个区块,六个字段在各自组内的位置都没变,引用仍有效。若三个无标签的 <fieldset> 各装一个 Phone 字段,分组就会落到 <form>。交换前两个区块会使 0/3 和 1/3 互换,触发引用失效。原文给出的测试是 test/night-19-11-clone-shift.test.mjs。
Wikipedia 只更新了快捷键,搜索框却填不进去了
作者用 docs/repro_wiki_search.mjs 复现了故障。domcontentloaded 时,搜索框的 title 是 Search Wikipedia [f]。几百毫秒后,页面脚本按平台把它改成 Search Wikipedia [alt-f] 或 Search Wikipedia [alt-shift-f]。如果 inspect_compact 在更新前拿到引用,更新后的 act_fast 就会把同一个搜索框判成另一个字段。
c140e2d 在归一化 title 时去掉末尾 [...] 形式的快捷键后缀,标题的其余部分仍参与比较。这个案例说明,签名采集得越细,越需要弄清哪些文字会在初始化后正常变化。
标签页留在后台,Gmail 编辑器为什么没挂载
作者通过 Chrome DevTools Protocol(CDP)控制真实登录的 Chrome 时,新打开的标签页会抢走键盘焦点。作者提交的 ChromeDevTools/chrome-devtools-mcp#3539 已合入 main,加了服务端参数 --backgroundNewPages。这样,即使模型调用 new_page 时漏传 background: true,新页也能留在后台。
后台又有另一层问题。Chrome 会限制后台页的生命周期和动画帧,作者实测 Gmail 的撰写编辑器一直没挂载,手动点进标签页才出现。d1e755f 把后台开页与 Emulation.setFocusEmulationEnabled({ enabled: true })、Page.setWebLifecycleState({ state: "active" }) 配合使用,让代理在后台继续操作,用户仍留在当前标签页。四项修复都已进入 turbo-browser-mcp,原文报告 Node 20 和 22 上共有 778 项测试。
我的判断
作者最有说服力的地方,是把引用失效拆成了可复现的页面变化。Wikipedia 的复现脚本能看出时间差,两个 <fieldset> 布局也能解释同一次交换为什么会得到不同结果。750 和 778 都是测试数量,原文没给上线前后的误点率,也没比较多种定位策略的成功率。后台 CDP 设置在 Gmail 上的表现,可以当作这个案例的经验。
如果是自家前端,虚拟列表通常能直接暴露稳定的业务 ID,执行前可以核对当前行绑定的是哪条数据。控制第三方网页时,能拿到的往往只有文本、属性和 DOM 结构,作者的签名方案更容易接入,但文本相同的行仍可能难以区分。动态表单还有个类似取舍:能拿到行 ID 就比对行 ID,只有索引和总数时,遇到无法推断的删除位置就重新取快照。
能拿来做什么
- 给虚拟列表补一条跨快照测试。先记录某行的引用,再滚动到节点被复用,最后执行旧引用,断言工具会拒绝点击。
- 在 Playwright 用例里覆盖重复字段的换位、删首行、删中间行和删末行,并断言值最终写进哪一条业务记录。
- 给浏览器 MCP 加一条从
inspect_compact到act_fast的回归用例,在两步之间模拟快捷键提示更新,验证同一搜索框仍能输入。 - 用工作中的 Chrome 跑后台自动化时,同时检查两件事。前台标签是否保留键盘焦点,后台页是否真的挂载了下一步要操作的编辑器。