智能体读取十万网页的成本怎么算
作者把抓取、搜索和托管浏览器 API 的公开报价换算到每千页,指出 JS 渲染和 JSON 提取可能消耗数倍积分,搜索与抓取也通常分开计费。文中提供公式、计算器和数据表,比较范围限于价格。
AI 深度解读
一个 AI Agent 每月读 10 万张网页,光看 API 的标价,很容易估错预算。作者把网页抓取、搜索和托管浏览器服务的公开报价统一到每 1,000 页的尺度。最便宜的普通抓取套餐在这个用量下低于 1 美元/1,000 页,但开启 JS 渲染、提取 JSON,或者让浏览器跑一段登录流程,成本就可能变样。
对正在做网页问答或资料检索的前端、全栈开发者,这篇最实用的发现是,预算要跟着 Agent 实际执行的动作走。搜了几次、抓了几页、开了多久浏览器,分别都会影响账单。
同一个抓取 API,为什么每页成本会差几倍
有些抓取 API 按额度(credit)收费。套餐标价只能告诉你买一批额度要花多少钱,真正决定每页成本的还有扣费倍率。作者发现,在一些服务里,开启 JS 渲染或让 API 直接提取 JSON,一次请求可能消耗普通抓取的数倍额度。
对前端开发者来说,可以把它理解成两条读取路径。静态文档直接请求就能拿到正文。页面内容如果要等脚本运行后才出现,就可能需要渲染。作者给出的低价对应普通抓取。做预算时,应按实际会用到的功能分别估算,尤其是那些默认给所有请求开启渲染的流程。
登录流程为什么要看浏览器跑了多久
按作者整理的报价,每月抓取 100,000 页时,最便宜的普通抓取套餐低于 1 美元/1,000 页。托管浏览器按分钟计费,同样是读一页,打开后直接读正文和登录后多次跳转,耗时可以差很多。
每千页成本可以用来对齐报价。涉及登录时,还要知道跑完一次流程用了多少计费分钟。原文只指出流程越长,浏览器成本越容易上升,没有给出典型登录耗时或实际账单。
搜索之后,哪些结果值得再付一次钱
搜索和抓取通常是两笔费用。搜索 API 返回候选结果,Agent 打开候选网页读取正文时,还要付抓取费。作者建议先让模型挑选,只抓它选中的 2 或 3 条结果。
这个做法适合先用搜索缩小范围、再读正文核对的流程。把抓取放在筛选之后,可以直接减少打开的网页数。至于 2 或 3 条够不够,取决于任务需要多少来源,原文没有比较不同抓取数量下的回答质量。
我的判断
作者整理的是公开报价,附有公式、来源、计算器和免费的 JSON/CSV 数据。用它做供应商初筛合适。普通抓取、JS 渲染和托管浏览器能完成的工作不同,每千页价格需要结合目标网站来看。原文没有给出同一批页面上的成功率、提取质量或对照账单。
先筛再抓是经验建议。把候选页全部抓下来,可以让模型看到更多正文,也会增加抓取量。原文没有测过两种做法各自的成本和回答质量,所以我会把 2 或 3 条用作初始值,再根据任务调整。
能拿来做什么
- 给 Node 里的网页读取流程分别记录搜索次数、各类抓取的额度消耗和浏览器计费时长,用实际用量估算每 1,000 页的成本。
- 给能从 HTML 直接拿到正文的页面走普通抓取,遇到依赖客户端渲染的页面再开启 JS 渲染。需要 API 提取 JSON 时,单独核对这项功能的扣费倍率。
- 把搜索结果筛选放到抓取之前,先读取模型选中的 2 或 3 页。如果正文还不足以支撑回答,再读取下一批候选页。