基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 22:00

识别冒牌 GPTBot 要看来源 IP

dev.to · AI#爬虫#身份验证#DNS
Editor brief · 编辑速览

爬虫的 User-Agent 可以被冒用,文章建议用请求的来源 IP 核对运营方公布的地址段。若运营方有相应指引,还可对反向 DNS 的结果做正向回查。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

访问日志里出现 GPTBot,只能说明请求自称是 GPTBot。原文给出了一套服务端判定方法:先从可信代理链拿到客户端 IP,再查这个机器人自己的官方地址列表。有些运营方还提供 DNS 命名规则,可以多做一次验证。

这套方法直接影响放行和限流。作者在 2026 年 11 月 19 日核查时发现,几个主流 AI 爬虫都在用公有云,地址池也会变动。只认 User-Agent 会放过冒名请求,把地址列表存成一份长期不动的配置,又可能漏掉刚换地址的真爬虫。

先确认日志里的 IP 到底是谁的

User-Agent 是客户端自己填的,GPTBot、ClaudeBot、PerplexityBot 和 Googlebot 的标识都可以被复制。它的用途是告诉你接下来该查哪份名单。真正用来核对身份的,是发出连接的客户端地址。

如果站点前面有 CDN、反向代理或负载均衡器,源站看到的连接通常来自代理。客户端地址可能通过 X-Forwarded-For 传递,这个请求头也允许客户端自行提交。因而,要让 nginx 一类的服务只信任明确配置过的代理地址,按代理链还原客户端 IP。源站同时允许公网直连时,直连请求应使用实际连接的对端地址。后面的 IP 匹配和 DNS 查询都得建立在这一步上。

原文还提了一种证据更强的办法:请求签名。OpenAI 会为 ChatGPT 云浏览器的请求签名,这是代表用户操作的代理。原文查阅的 OpenAI、Anthropic 和 Perplexity 爬虫文档则只描述了 IP 列表和 robots.txt 规则。

IP 名单要按机器人查,还得定期刷新

运营方通常用 JSON 发布名单,里面有创建时间和地址前缀,比如 20.171.206.0/24。OpenAI 给 GPTBot、OAI-SearchBot、ChatGPT-User 和 OAI-AdsBot 各发一份文件。作者读到的 GPTBot 和 ChatGPT-User 两份名单没有地址重叠。请求即便命中 ChatGPT-User 的地址,也要单独核对它自称的 GPTBot 身份。

作者对 2026 年 11 月 19 日的名单做了归属核查:GPTBot 的 18 个前缀都在 Microsoft Azure,Anthropic 的 14 条里有 13 条是 Google Cloud 上的单个 IP,Perplexity 两份文件里的 31 条都在 Amazon 的地址范围内。公有云上还有其他租户,放行规则得匹配机器人名单里的具体前缀。

名单日期也不能直接当作更新频率。核查当天,Google 的文件标的是 11 月 19 日,GPTBot 是 9 月 22 日,OAI-SearchBot 是 1 月 2 日,Anthropic 是 10 月 20 日,PerplexityBot 是 11 月 18 日。Bingbot 文件标着 2024 年 1 月,帮助页却要求每天刷新。实际变动也有样本:PerplexityBot 在 11 月 7 日有 13 个地址,到了 11 月 19 日有 21 个,新增 8 个。旧名单既可能漏掉新地址,也可能继续放行后来分配给其他客户的地址。

这三家 AI 爬虫的文档都没承诺名单完整,因此未命中只能记作「未确认」。2026 年 10 月的 SAIL(Source Address Identity List)互联网草案试图补上这个缺口。运营方可在 /.well-known/sail 声明某服务只使用所列地址,以及某个地址池专供这项服务。前一项承诺让地址未命中也能成为判定依据。作者查到 claude.com 为托管浏览器 Claude-Agent 同时作了两项声明;11 月 19 日检查 openai.com、google.com、bing.com 和 perplexity.ai 时,均未找到该文件。草案当时为修订版 00,还处于提案阶段。

DNS 反查为什么还要再正查一次

反向 DNS 通过 PTR 记录查出 IP 对应的主机名,记录内容由地址块的持有方决定。看到一个长得像 Googlebot 的主机名,只完成了第一步。接下来要按运营方文档检查域名和命名模式,再对主机名做正向查询:IPv4 查 A,IPv6 查 AAAA。查回的地址包含最初的客户端 IP,才算通过。缺少 PTR 或地址对不上,都记作未确认。

Google、Bing 和 Apple 有公开的校验规则,涉及 googlebot.com 或 google.com、search.msn.com 和 applebot.apple.com。Google 还有一个容易踩的坑:它的流程接受共享域 googleusercontent.com,作者抽查的 Google Cloud 地址带有 bc.googleusercontent.com 下的默认名,正查也能回到原 IP。只比域名后缀会让普通云主机通过。应按爬虫类别核对完整命名模式,例如 googlebot.com 下由 crawl- 加地址组成的名字,或改用官方 IP 列表。

OpenAI、Anthropic 和 Perplexity 没有公布供爬虫验证的主机名规则。作者反查每个公开前缀的首个地址,OpenAI 的 296 条都没查到名字,Perplexity 的 31 条都返回默认 AWS 名称,Anthropic 的 14 条里有 13 条返回默认 Google Cloud 名称。这些是抽样查询结果,能解释为什么现阶段应优先查它们各自的名单。

我的判断

这篇最有用的区分是「身份确认」和「访问处置」。只看 User-Agent,适合给日志分组。按机器人查名单,才有依据给确认过的流量单独配额度。未确认的请求继续走默认限流,也给名单变动留出了余地。整段封禁运营方地址会影响守规矩的爬虫读取 robots.txt,访问偏好仍适合写在 robots.txt 里。

作者给出了名单快照、归属核对和 DNS 抽查,但没有给出真实站点的误判率,也没有比较名单刷新间隔或限流阈值。这部分属于运维经验。尤其是刷新失败后沿用旧名单,只能维持规则继续运行。排查时还要知道上一次成功更新是什么时候,才能判断未命中是否可能与名单过期有关。

能拿来做什么

  • 在 Next.js 或 Node 服务的入口日志里记录 User-Agent 和经可信代理链解析后的客户端 IP。代理场景再保留转发地址,方便追查解析结果。
  • 给每种爬虫单独维护官方 CIDR 名单,定时拉取,成功解析后再替换。拉取失败沿用上一次成功版本,并记下版本日期和最近一次成功刷新时间。
  • 给已确认的爬虫单独配置速率限制,其余请求走默认额度。ChatGPT-User、Perplexity-User 和 Google 由用户触发的抓取工具可能不遵循 robots.txt,需要限制请求量时,把控制放在服务端。
  • 排查可疑请求时,从日志取客户端 IP 和 User-Agent,用 Crawler Verifier 核对名单、DNS 结果和名单日期,再决定是否调整规则。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
只算 FLOPs,微调工期平均错了 12 小时
下一篇
给编程智能体提供 Markdown 版 API 文档

资讯速览

dev.to · AI · 2026-11-20 22:00

AI 评分 8.0 / 10

相关标签

#爬虫#身份验证#DNS

继续阅读

  • Copilot 用量报表可区分自带密钥调用
  • 只算 FLOPs,微调工期平均错了 12 小时
  • 给编程智能体提供 Markdown 版 API 文档
  • 修图智能体通过质检仍可能漏改
  • 两万多次调用归纳出 12 类 MCP 故障