用访问日志识别 AI 爬虫及冒名请求
文章解释了依赖浏览器 JavaScript 的统计为何会漏掉 AI 抓取,并区分训练爬虫、搜索爬虫与用户触发的页面读取。它以服务器和 CDN 日志为观测入口,讨论如何识别访问者及冒名请求。
AI 深度解读
统计面板里没有访客,服务器日志里却满是 ChatGPT、Claude 和 Perplexity,两边可能都没错。原文讨论的是网站运营里的一个盲区:依赖 JavaScript 埋点的统计看不到许多 AI 抓取,而日志里自称 AI 的请求,也未必来自真正的 AI 服务。
作者给出的路径很实用:先从日志识别请求,再核验身份,按用途决定是否放行,最后把抓取记录和真人回访放在一起看。对维护官网、文档站和内容站的程序员来说,这比单看访问量更接近完整情况。
为什么面板没访客,日志却有 AI
Google Analytics、Plausible、Jetpack 等工具通常要等浏览器执行 JavaScript,才记录访问。按原文描述,AI 抓取直接请求 HTML、读取文本后离开,没有触发这一步。
没有埋点访问,不等于页面没有被读取。
但不同请求不能混着统计。同一家公司可能同时运行训练爬虫、搜索爬虫,以及由用户提问触发的抓取器。原文在「三类代理」处缺少具体分类内容,不过后续明确区分了这些用途。
训练抓取是在收集模型训练材料,搜索抓取服务于检索,而用户触发的抓取背后有一个正在提问的人。最后一种最接近业务语境里的访问,即便这个人始终没有打开你的网站。
怎样从日志里找到它们,又避免认错身份
请求经过服务器或 CDN,通常会留下 User-Agent。作者提供了适用于典型 Nginx、Apache 日志的命令,用来按代理名称统计请求:
grep -Ei "gptbot|oai-searchbot|chatgpt-user|claudebot|claude-user|claude-searchbot|perplexitybot|perplexity-user" access.log \
| awk -F'"' '{print $6}' | sort | uniq -c | sort -rn
注意 awk 里的 $6:它依赖日志字段格式;作者建议改成 $2 查看请求字段,从而知道访问了哪些页面。这里得到的是匹配请求数,不能直接当成独立访客数。
使用 Cloudflare 时,原文称免费的 AI Crawl Control 面板可以直接查看;共享 cPanel 主机的原始日志则通常位于 ~/logs,按月保存为 .gz 文件。
下一步才是关键:核验身份。任何客户端都可以发送 User-Agent: GPTBot。作者审计一个小型商业网站一周的日志时,发现数百条自称 Claude-User、OAI-SearchBot 的请求,来自运营方未列出的云服务器。
原文列出三种核验办法:
- 对照运营方发布的 IP 范围。OpenAI、Anthropic、Perplexity、Google 等提供 JSON 地址列表。
- 使用反向 DNS。对 Googlebot、Bingbot、Applebot 等,先检查 IP 对应主机名的域名后缀,再正向解析,确认回到原 IP。
- 验证 Web Bot Auth 签名。部分代理用运营方公布的密钥签署请求,有效签名可用于确认发送者。
这里有个必须保留的边界:运营方没发布核验资料,应记为「无法验证」;地址列表长期没更新,范围外请求也不能贸然判假。
放行哪些请求,要和业务目标一起看
作者查看了 2026 年 11 月访问量最高的 1,000 个网站的 robots.txt:77.5% 允许全部 14 个主要 AI 代理,9.6% 屏蔽 OpenAI 训练爬虫,同时保留搜索爬虫。
下面的配置表达了这种取舍:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
注意两处 User-agent 指向不同用途。作者希望借此保留进入 ChatGPT 回答的机会,同时拒绝训练抓取;但这段配置没有提供收录或引用保证,也不能代替请求身份核验。
作者还提醒,屏蔽 ChatGPT-User 这样的用户触发抓取器,可能让正在询问你的人拿不到页面内容。商业网站应先想清楚这个结果是否符合预期。
抓取之后,还要看真人是否回来。用户点击回答中的链接,会执行网站 JavaScript,可能留下 chatgpt.com、perplexity.ai 来源,或 utm_source=chatgpt.com。原文称 GA4 已将这类流量归入「AI Assistant」渠道。把这些回访与页面抓取记录并排看,才能继续观察访问和线索。
我的判断
我赞同先补日志、再谈 AI 流量增长。它解决的是观测缺口,而且比只依赖 User-Agent 更严谨。
但原文的证据需要分层看。小网站一周的审计支持「存在冒充请求」,不能说明所有网站的冒充比例;1,000 个网站的统计没有交代排名来源、抽样和解析细节,也不足以证明放行策略更有效。屏蔽用户触发抓取会损失多少业务,作者同样没给对照数据,属于经验判断。
抓取记录与回访数据并排展示,有助于找线索,但不能直接建立因果关系。
一次抓取可能服务多个用户,真人回访也可能没有完整来源。原文没有说明怎样把某次读取准确关联到某条线索。
工具选择上,已有 Cloudflare 的站点可以先用 AI Crawl Control;想自己分析日志,可考虑 Screaming Frog Log File Analyser、GoAccess;原文也列出 Known Agents、Salience、Clicktag。作者自建的 Knocklog 宣称支持包括共享 cPanel、WordPress 在内的主机,并提供身份核验、页面记录、线索统计和免费检测工具。这是产品披露,原文没有给出独立验证,不能直接当成能力对比结论。
能拿来做什么
- 维护官网或文档站时,先用现有服务器或 CDN 日志统计代理名称和请求页面,并确认日志格式与命令字段一致。
- 给抓取报表增加身份状态,将已验证、无法验证和核验不符分别记录,同时保存核验所用地址列表的更新时间。
- 调整
robots.txt前,先明确是否允许训练、搜索和用户触发抓取,再分别配置对应代理。 - 把 AI 来源的真人回访与被抓取页面放在同一份报表里,观察哪些内容带来后续访问,并保留归因不完整的说明。