用纯 HTTP 抓取评论与进口拒绝记录
作者用纯 HTTP 构建了两个数据提取器,分别处理 Xero 应用评论与美国 FDA 进口拒绝记录。Xero 案例从原始 HTML 读取内嵌数据并利用服务端评分筛选,4 次请求耗时不到 2 秒,峰值内存约 102 MB。
AI 深度解读
有些看起来必须用浏览器爬的页面,直接发 HTTP 请求就能拿到结构化数据。作者用 Xero App Store 和美国 FDA 进口拒收报告做了两个提取器。前者从 HTML 里读服务端注入的 Redux 状态,后者直接提交网页表单背后的请求。Xero 的一次实测用 4 个请求抓完某个应用的低星评论,耗时不到 2 秒,峰值内存约 102 MB。对写采集脚本的人来说,最值得借鉴的是怎么判断一个页面是否真需要启动 Chromium。
页面像 SPA,为什么一次 fetch() 就够了?
Xero App Store 的应用详情页看起来像客户端渲染的单页应用,但原始 HTML 里有一个 <script id="mp-redux-state" type="application/json">。Angular 在服务端渲染(SSR)时把完整的 Redux 状态放进了这里,引号用 &q; 转义。一次 fetch() 就能拿到开发者支持邮箱、官网、LinkedIn 公司页、免费试用时长、支持地区,以及 1 到 5 星各档的评论数。
评论页还有一条更省事的路。在应用的 /reviews 后加 ?page=1&rating=1,服务端就会按 1 星筛选。作者对一个有 1,100 多条评论的应用抓取了全部 1 至 3 星评论,报告用了 4 个 HTTP 请求。先用服务端筛选,脚本就省去了下载高星评论再逐条过滤的工作。
作者还统计了 7 款集成的 3,767 条评论,原文列出的低星占比如下。
| 应用 | 原文低星占比 | 低星条数 / 评论数 |
|---|---|---|
| A2X | 0.32% | 3 / 953 |
| ApprovalMax | 2.38% | 16 / 675 |
| Dext | 3.73% | 40 / 1,121 |
| Expensify | 7.63% | 37 / 505 |
| Gusto | 23.61% | 17 / 78 |
| GoCardless | 40.20% | 80 / 203 |
| Hubdoc | 48.02% | 109 / 232 |
Hubdoc 的投诉集中在银行流水同步连接中断。原文有多组百分比和条数对不上,例如 109 / 232 复算约为 46.98%,原文也没交代是否用了另一套分母。
FDA 查询表单也能直接用 HTTP 提交
FDA 的 OASIS 进口拒收报告有一套网页查询表单。作者直接向 index.cfm 发送 application/x-www-form-urlencoded 格式的 POST 请求,通过 facades.getCountryProductList、facades.selection 和 facades.detail 获取厂商 FEI 编号、街道地址、ENTRY/DOC/LINE、实验室记录标志和涉及的 FD&C Act 条款。
原文称,出口商有 90 天对货物进行整改、出口或销毁。FDA Record of Private Lab Sample Analysis: No 是 OASIS 里关于是否提交过私人实验室样本分析材料的记录。用它筛选线索时,保留这个字段的原始含义,至于企业是否仍需要服务,得另行确认。
怎么把两个提取器接进 AI 工作流?
作者把两个提取器发布到了 Apify Store,并提供了原生 MCP schema,供 Claude、Cursor 或 n8n 按需调用。下面这段配置把两个 Actor 暴露给 MCP 客户端。
{
"mcpServers": {
"signalgrid": {
"type": "http",
"url": "https://mcp.apify.com/?tools=signalgridhq/xero-app-marketplace-scraper,signalgridhq/fda-import-refusal-leads"
}
}
}
看 url 那一行,tools 参数用逗号列出了两个 Actor。作者还提到,发布 Apify Pay-Per-Event Actor 时,要从 .actor/actor.json 显式引用 .actor/output_schema.json,并将输出指向 {{links.apiDefaultDatasetUrl}}/items。按他的发布经验,漏掉这项配置,即使构建通过,Store 的发布校验也会拦截。
我的判断
先看原始响应,再决定要不要上 Playwright 或 Puppeteer,这个排查顺序我认同。作者提到单个 Chromium 容器可能先占 1–2 GB 内存,但没有给出同一任务的浏览器对照数据,也没披露并发下的表现。约 102 MB 是一次 Xero 任务的实测值。FDA 提取器的耗时和内存,原文没有给。
直接发 HTTP 请求省掉了浏览器运行环境,也把维护点放到了页面内部结构上。mp-redux-state 的 ID、状态字段或 FDA 的表单动作一变,解析器就可能失效。有稳定的官方 API 时,我会优先用 API。有些页面确实要执行客户端脚本才能取得数据,那时再用浏览器。至于商业线索,低星评论能帮你定位用户在抱怨什么,能否预测客户流失还需要其他证据。
能拿来做什么
- 给 Node 采集脚本选方案时,先用
fetch()看原始 HTML,找页面嵌入的 JSON,再到开发者工具的 Network 面板确认筛选和分页是否由服务端处理。 - 遇到网页表单,先确认请求的编码、参数和返回字段。落库时保留原始枚举值,遇到关键字段缺失就显式报错,避免把解析失败当成没有数据。
- 把采集任务接给 MCP 客户端前,先在 HTTP 层跑通一次完整查询,核对返回字段和筛选条件。发布按事件计费的 Apify Actor 时,把输出 schema 纳入发布检查。