识别冒牌 GPTBot 要看来源 IP
爬虫的 User-Agent 可以被冒用,文章建议用请求的来源 IP 核对运营方公布的地址段。若运营方有相应指引,还可对反向 DNS 的结果做正向回查。
AI 深度解读
访问日志里出现 GPTBot,只能说明请求自称是 GPTBot。原文给出了一套服务端判定方法:先从可信代理链拿到客户端 IP,再查这个机器人自己的官方地址列表。有些运营方还提供 DNS 命名规则,可以多做一次验证。
这套方法直接影响放行和限流。作者在 2026 年 11 月 19 日核查时发现,几个主流 AI 爬虫都在用公有云,地址池也会变动。只认 User-Agent 会放过冒名请求,把地址列表存成一份长期不动的配置,又可能漏掉刚换地址的真爬虫。
先确认日志里的 IP 到底是谁的
User-Agent 是客户端自己填的,GPTBot、ClaudeBot、PerplexityBot 和 Googlebot 的标识都可以被复制。它的用途是告诉你接下来该查哪份名单。真正用来核对身份的,是发出连接的客户端地址。
如果站点前面有 CDN、反向代理或负载均衡器,源站看到的连接通常来自代理。客户端地址可能通过 X-Forwarded-For 传递,这个请求头也允许客户端自行提交。因而,要让 nginx 一类的服务只信任明确配置过的代理地址,按代理链还原客户端 IP。源站同时允许公网直连时,直连请求应使用实际连接的对端地址。后面的 IP 匹配和 DNS 查询都得建立在这一步上。
原文还提了一种证据更强的办法:请求签名。OpenAI 会为 ChatGPT 云浏览器的请求签名,这是代表用户操作的代理。原文查阅的 OpenAI、Anthropic 和 Perplexity 爬虫文档则只描述了 IP 列表和 robots.txt 规则。
IP 名单要按机器人查,还得定期刷新
运营方通常用 JSON 发布名单,里面有创建时间和地址前缀,比如 20.171.206.0/24。OpenAI 给 GPTBot、OAI-SearchBot、ChatGPT-User 和 OAI-AdsBot 各发一份文件。作者读到的 GPTBot 和 ChatGPT-User 两份名单没有地址重叠。请求即便命中 ChatGPT-User 的地址,也要单独核对它自称的 GPTBot 身份。
作者对 2026 年 11 月 19 日的名单做了归属核查:GPTBot 的 18 个前缀都在 Microsoft Azure,Anthropic 的 14 条里有 13 条是 Google Cloud 上的单个 IP,Perplexity 两份文件里的 31 条都在 Amazon 的地址范围内。公有云上还有其他租户,放行规则得匹配机器人名单里的具体前缀。
名单日期也不能直接当作更新频率。核查当天,Google 的文件标的是 11 月 19 日,GPTBot 是 9 月 22 日,OAI-SearchBot 是 1 月 2 日,Anthropic 是 10 月 20 日,PerplexityBot 是 11 月 18 日。Bingbot 文件标着 2024 年 1 月,帮助页却要求每天刷新。实际变动也有样本:PerplexityBot 在 11 月 7 日有 13 个地址,到了 11 月 19 日有 21 个,新增 8 个。旧名单既可能漏掉新地址,也可能继续放行后来分配给其他客户的地址。
这三家 AI 爬虫的文档都没承诺名单完整,因此未命中只能记作「未确认」。2026 年 10 月的 SAIL(Source Address Identity List)互联网草案试图补上这个缺口。运营方可在 /.well-known/sail 声明某服务只使用所列地址,以及某个地址池专供这项服务。前一项承诺让地址未命中也能成为判定依据。作者查到 claude.com 为托管浏览器 Claude-Agent 同时作了两项声明;11 月 19 日检查 openai.com、google.com、bing.com 和 perplexity.ai 时,均未找到该文件。草案当时为修订版 00,还处于提案阶段。
DNS 反查为什么还要再正查一次
反向 DNS 通过 PTR 记录查出 IP 对应的主机名,记录内容由地址块的持有方决定。看到一个长得像 Googlebot 的主机名,只完成了第一步。接下来要按运营方文档检查域名和命名模式,再对主机名做正向查询:IPv4 查 A,IPv6 查 AAAA。查回的地址包含最初的客户端 IP,才算通过。缺少 PTR 或地址对不上,都记作未确认。
Google、Bing 和 Apple 有公开的校验规则,涉及 googlebot.com 或 google.com、search.msn.com 和 applebot.apple.com。Google 还有一个容易踩的坑:它的流程接受共享域 googleusercontent.com,作者抽查的 Google Cloud 地址带有 bc.googleusercontent.com 下的默认名,正查也能回到原 IP。只比域名后缀会让普通云主机通过。应按爬虫类别核对完整命名模式,例如 googlebot.com 下由 crawl- 加地址组成的名字,或改用官方 IP 列表。
OpenAI、Anthropic 和 Perplexity 没有公布供爬虫验证的主机名规则。作者反查每个公开前缀的首个地址,OpenAI 的 296 条都没查到名字,Perplexity 的 31 条都返回默认 AWS 名称,Anthropic 的 14 条里有 13 条返回默认 Google Cloud 名称。这些是抽样查询结果,能解释为什么现阶段应优先查它们各自的名单。
我的判断
这篇最有用的区分是「身份确认」和「访问处置」。只看 User-Agent,适合给日志分组。按机器人查名单,才有依据给确认过的流量单独配额度。未确认的请求继续走默认限流,也给名单变动留出了余地。整段封禁运营方地址会影响守规矩的爬虫读取 robots.txt,访问偏好仍适合写在 robots.txt 里。
作者给出了名单快照、归属核对和 DNS 抽查,但没有给出真实站点的误判率,也没有比较名单刷新间隔或限流阈值。这部分属于运维经验。尤其是刷新失败后沿用旧名单,只能维持规则继续运行。排查时还要知道上一次成功更新是什么时候,才能判断未命中是否可能与名单过期有关。
能拿来做什么
- 在 Next.js 或 Node 服务的入口日志里记录
User-Agent和经可信代理链解析后的客户端 IP。代理场景再保留转发地址,方便追查解析结果。 - 给每种爬虫单独维护官方 CIDR 名单,定时拉取,成功解析后再替换。拉取失败沿用上一次成功版本,并记下版本日期和最近一次成功刷新时间。
- 给已确认的爬虫单独配置速率限制,其余请求走默认额度。ChatGPT-User、Perplexity-User 和 Google 由用户触发的抓取工具可能不遵循
robots.txt,需要限制请求量时,把控制放在服务端。 - 排查可疑请求时,从日志取客户端 IP 和
User-Agent,用 Crawler Verifier 核对名单、DNS 结果和名单日期,再决定是否调整规则。