支付弹窗如何扭曲浏览器智能体成本实验
一次视口成本对比误把 Chrome 支付自动填充弹窗引发的额外操作算到了小视口头上,审阅智能体发现了这个变量。关闭弹窗重测后,该结账流程中大视口的输入 Token 用量约为小视口的 1.16 倍,成本约为 1.12 倍。
AI 深度解读
同一个结账表单,大屏的输入 token 一开始只有小屏的 0.82 倍。关掉 Chrome 的付款自动填充弹窗后,比例变成约 1.16 倍。小屏原先多花的 token,有一部分用在了按 Escape 和重新滚动页面上。
作者让一组 AI 代理分工跑实验,由人工掌握预算和复跑决定。审阅代理翻查原始记录,追问 0.82 倍到底测到了什么。这篇最值得带走的,是一套能用在浏览器测试里的做法:先写清楚怎么算,再让另一个角色检查数字究竟能支撑什么结论。
谁来跑实验,谁来核对结果?
实验于 2026 年 11 月 16 日完成,用时一天,花了 21.70 美元,低于事先设定的 60 美元上限。团队在 localhost 上跑了两个公开示例:加了简单登录页的 TodoMVC,以及 Bootstrap 的示例结账表单。Chrome 在虚拟显示器上以 kiosk 模式运行,测试分辨率为 1024x768、1280x800、1920x1080 和 2560x1440。每轮使用全新的 Chrome 配置,结束后由脚本清理环境,云端开销为零。
搭建代理设计测试框架,负责校准、试跑和正式测试。基础设施代理提供环境及启停脚本。审阅代理先检查实验设计,再直接打开原始结果文件核对。编辑则对照结果和公开文档检查稿件,专门找那些容易在写作中混淆的口径。协调代理负责传达作者的书面授权和汇总消息,正式运行和复跑都由作者批准。
原文用下面这张 Mermaid 流程图交代了实验、审阅和稿件之间的交接。
flowchart TD
John[John: budget, scope, and the final call]
Coord[Writer / coordinator]
Infra[Infrastructure bot]
Builder[Builder]
Review[Skeptical reviewer]
Editor[Editor]
John -->|approves spend and scope in writing| Coord
Coord -->|relays his exact words| Builder
Coord -->|asks for a local environment| Infra
Infra -->|up and down scripts, zero cloud spend| Builder
Coord -->|asks for a methodology review| Review
Builder -->|plans, pilots, and results| Review
Review -->|fixes, caveats, and a verdict| Coord
Builder -->|results for the write-up| Coord
Coord -->|draft of the findings post| Editor
Editor -->|catches token vs cost, median vs average| Coord
Coord -->|revised draft| John
重点看 Builder -->|plans, pilots, and results| Review 这一行。审阅从实验方案开始,贯穿试跑和结果核查,正式测试前还有机会修正判定规则。
为什么要在跑数据前写好判断标准?
无须滚动的流程在正式测试前提交了分析方案。需要滚动的流程更早锁定方案,在第一次 API 调用前就写好了三项假设和停止规则。其中一项只预测大屏与小屏的输入 token 比值会低于无滚动页面测得的 2.19 倍。后来出现的「比值低于 1」属于实验中的额外观察,审阅代理要求在稿件里明确标出。
审阅代理还把每种分辨率至少跑 3 轮的初稿改成了每种跑 10 轮,交错运行,并报告中位数和离散程度。无滚动页面上,1280x800 的输入 token 是 1024x768 的 1.091 倍,置信区间却跨过了 1。十轮中有两轮只用了 4 次 API 调用,其余轮次用了 5 次。省下一次调用抵消了截图像素增加带来的开销。只跑三轮,很容易把碰巧抽到的结果当成稳定差异。
他们用 API 返回的 usage 字段校准截图开销,还做了一次零成本检查,确认新框架跑原流程时,发出的请求体逐字节一致。模型的思考无法关闭,方案记录的是 adaptive, low。API 会拒绝 temperature 这类采样参数,这个限制也写进了方案。原文没有交代模型名。
0.82 倍是怎么测出来的?
试跑先抓住了两个问题。虚拟显示器里的 kiosk Chrome 启动后,窗口宽和高各少了 1 像素,右侧和底部留下黑边。搭建代理在启动后调整窗口,并逐一确认四种分辨率下的截图都与视口一致。另一处问题出在评分上,原规则要求最终回复以 DONE 开头。有一轮通过了页面检查,却因为模型先写了一句开场白而被判为拒绝。团队在正式运行前提交了修订,只有页面检查失败,且模型拒绝执行或请求许可,才记为拒绝。按旧规则,正式测试中有 4 轮成功操作会被误判。
结账弹窗更隐蔽。试跑时四种分辨率都出现了付款自动填充的非安全连接提示,作者因此保留了它。正式测试里,1024x768 平均用了 3.9 次 API 调用,输入 token 中位数为 28,850,并出现了 9 次按 Escape 后重新滚动的操作。2560x1440 全程无须滚动,每轮都是 23,693 个输入 token。两边一除,就得到了看起来颇有说服力的 0.82 倍。
作者随后单独批准关闭弹窗,只复跑了 1024x768 和 1280x800。这是看过正式结果后追加的验证。20 轮全部通过,其中 1024x768 每轮都用 3 次调用、20,395 个输入 token。用前面的大屏数据计算,大屏约为小屏的 1.16 倍输入 token,费用约为 1.12 倍。原来的 0.82 倍反映的是那套带弹窗的测试环境。
费用也是编辑单独复算过的。无滚动页面上,2560x1440 相对 1024x768 用了 2.19 倍输入 token,费用用 0.382 美元除以 0.184 美元,约为 2.1 倍。结账流程的费用用 0.115 美元除以 0.103 美元,约为 1.12 倍。初稿把 token 倍率写成了费用倍率,还把一处中位数写成了平均值。
我的判断
「每次截图更贵」和「完成整件事更贵」应该分开测。这两页的结果刚好能说明原因:页面无须滚动时,大截图的开销更明显;大屏能省掉滚动时,多出来的像素成本会被减少的调用抵消一部分。四种尺寸都能看到同一个弹窗,也只能证明弹窗都会出现。它是否挡住目标、是否需要额外操作,还得看每轮的轨迹。
多代理分工在这个实验里确实抓住了具体错误。至于五个角色是否比一个执行者加一次人工复核更划算,原文没有对照数据,这是作者的经验之谈。实验只覆盖一天、两个简单公开页面、一个模型和一种浏览器。一般团队可以先保留两个关键动作:让复核者拿到原始记录,让追加验证保留独立记录。角色多了还会增加沟通成本。作者就遇到过已经书面批准的流程被重复询问,后来才把消息收口到协调代理。
能拿来做什么
- 给前端浏览器代理做视口对比时,先用小批量试跑确认实际截图尺寸、登录状态和浏览器弹窗,再把每轮的调用次数与输入 token 一起记录,方便定位开销来自截图还是额外步骤。
- 在 Node 测试脚本里用页面状态断言任务是否完成,例如检查预期元素或表单状态。把代理最后一句话留作诊断信息,避免一句开场白触发失败判定。
- 在正式测试前提交分析方案,把样本量、成功条件、比较指标和预算上限写进去。遇到异常再复跑时,记录触发原因,并在结果里注明追加验证覆盖了哪些条件。
- 让复核者从原始文件抽查几轮,再用费用表复算倍率。报告里分别写清每轮调用数、输入 token 中位数和实际费用,避免量纲在稿件里混用。