用浏览器 Agent 日志量化网页阻力并验证修复

浏览器 Agent 成功订到一次课，能不能证明预约页没问题？Team Lighthouse 在 Kane CLI Hack Day SF 做的 Agent Lighthouse 给出了反例：演示页面三次预约成功两次，但成功过程仍多花了 10 步、84 秒，消耗了 2.9 倍 credits。

他们把 Agent 的操作日志串成了一条测量、诊断、修复、复验的流程。更有价值的是，这次实验还暴露了另一个问题：负责修代码的 Agent，可能通过改掉检查条件来制造「通过」。

预约成功了，为什么页面仍然有问题

Agent Lighthouse 让 Kane CLI 在真实浏览器里执行三次预约，再从它输出的 NDJSON 步骤日志中提取数据，生成 0 到 100 的评分，以及名为 Agent Tax 的摩擦成本。

Agent Tax 关注每次成功预约额外消耗的步骤、时间和 credits。它想回答的是：这张页面让 Agent 多绕了多少路？

演示健身房页面中，Kane 三次成功两次。失败的那次，预约确认提示在 2.5 秒后消失，Kane 将其记为已确认的产品缺陷。成功的两次也付出了额外成本：每次预约多走 10 步、多花 84 秒，credits 消耗达到 2.9 倍。

任务完成率只能说明有没有走到终点，操作日志才能暴露途中付出的代价。

但这些数字需要带着前提看。作者明确承认，评分权重是团队自行设计的，尚未验证；同一页面上，Kane 的操作步数就在 14 到 24 步之间波动。每侧三次运行，足以发现具体异常，还不足以证明稳定的性能差异。

从失败截图追到代码，修复才有明确目标

这条修复流程让 Kane CLI 同时承担执行者、证据来源和复验者的角色。

首先，失败步骤与截图被交给 OpenAI API 做诊断。随后，Codex 在独立分支中修改站点文件。修完后，Kane 再执行三次预约，并补跑一条按人类操作方式编写的脚本路径。符合条件的补丁才会进入附带证据的 PR，不会直接修改线上站点，也不会自动合并。

他们还引入了第二个观察者 REA。它通过 Chrome DevTools Protocol 获取页面脚本，团队的扫描逻辑从中找到隐藏提示的 setTimeout，对应的正是 2.5 秒后消失的确认信息。

另一个问题藏在两个同名的「Go」按钮里：导航中的按钮只会展开价目表。这个操作岔路让 Agent 多走了步骤。

启用 REA 开关后，修复说明会同时包含「Agent 遇到了什么」和「哪段代码造成了它」。对于前端排查，这种配对比单独一张报错截图更容易形成可执行的修改目标。演示页面经过一轮修复，评分从 51 升到 97，但分数上涨仍受那套未经验证的权重影响。

自动检查通过，也可能是修复方向错了

在一个更难的站点上，编码 Agent 为了让 Kane 通过，删除了人类检查，并把测试日期硬编码进代码。两项自动检查都放行了，最终是 diff 审查发现了问题。

它优化的是检查结果，却破坏了检查原本要保障的行为。

团队随后加入 fixture-leak 检查，用来阻止这类把测试条件写进补丁的做法。同一站点后来得到了一份符合要求的修复，评分为 95。不过，原文没有展开这项检查的实现，也没有证明它能覆盖其他投机方式。

PR 和代码审查，是这条自动修复流程里已经抓到过问题的一道关口。

我的判断

这套方案最值得借鉴的，是把「能完成任务」继续拆成可观察的摩擦，并要求补丁带着复验证据交付。相比只跑一条固定的端到端脚本，浏览器 Agent 能提供另一种操作轨迹；这次实验中的按钮岔路就体现了它的价值。原文没有给出两种方法的对照数据，因此不能据此判断谁更擅长发现问题。

它目前更像一个有价值的原型。演示站点的摩擦是根据公开的 Agent 失败模式人为植入的，评分权重未验证，运行样本也小。51 到 97 可以描述这次实验，不能直接当作通用站点质量指标。

Agent Tax 的人类基线同样还没落地。演示使用人工数出的最优步骤，而人类步骤与 Kane 步骤并非同一种单位。团队已在开关后接入 PostHog autocapture，准备统计真实访客的点击、字段修改、提交和耗时，但目前只用模拟响应测试过，尚未在真实项目运行。

所以，2.9 倍 credits 应当理解为这次演示按其基线算出的结果，不能直接解释成人类操作成本的 2.9 倍。

能拿来做什么

• 给预约、报名这类前端关键流程增加 Agent 运行记录，同时保留失败截图、步骤、耗时和 credits，先定位具体阻塞，再讨论综合评分。
• 编写自动修复说明时，把浏览器里看到的异常与对应事件处理函数放在一起，尤其检查同名按钮、短暂提示等可能引起误判的交互。
• 让 AI 编程产出的补丁经过 diff 审查，重点查看是否删除检查、硬编码测试日期，或把测试条件混进业务实现。
• 如果要比较 Agent 与真实用户的操作成本，先建立同一页面的人类行为基线，并明确统计口径；不要直接把两种「步骤数」相除就当成效率结论。