用访问日志核查 AI 爬虫是否到访
文章给出自托管 WordPress 的 nginx 与 Apache 日志配置，记录时间、来源 IP、用户代理、请求和耗时等字段。强调上线前配置日志、结合 IP 核查爬虫身份，并提前处理日志轮转与留存。
原文暂未完整获取，基于公开信息的快读
新 WordPress 站点上线后，怎么确认 AI 爬虫有没有来过？dev.to 的这篇文章给出了一套基于 nginx、Apache 访问日志的核查方法：上线前记录必要字段，再按 User-Agent 筛选请求、结合 IP 验证身份。适用前提是自托管 WordPress，并且能控制 Web 服务器配置。
目前能确认什么
作者提供的日志配置覆盖时间、来源 IP、User-Agent、请求方法与路径、状态码、响应字节数、Referer 和耗时，同时强调提前检查日志轮转与留存，避免首周记录被清理。
筛选脚本可以按 GPTBot、ClaudeBot、PerplexityBot 等名称统计请求。但 User-Agent 是客户端自行填写的字符串，任何人都能冒用。
日志里出现爬虫名称，只能作为核查线索。
作者进一步使用正反向 DNS 核验：先把 IP 解析为主机名，再检查该主机名能否解析回原 IP。这个结果仍不能单独证明爬虫身份；运营方公布了 IP 范围时，还需要对照核查。
节选还区分了另一类名称：Google-Extended、Applebot-Extended 是 robots.txt 中的控制标记，不是请求使用的 User-Agent，不能靠搜索访问日志判断它们是否到访。
我的判断
对程序员来说，这套方法最有价值的部分是把证据保留下来。等上线一周后才发现日志缺少 IP 或 User-Agent，已经发生的请求就难以补查。
确认抓取，不等于确认收录，更不等于会出现在 AI 回答里。
首周没有请求，也无法区分尚未发现网站、访问被拦截等情况。应先检查 robots.txt 实际返回内容和外部访问情况，不能仅凭零访问就修改规则。
节选末尾并不完整，没有给出后续统计结论；各家爬虫具体应采用哪些身份核验规则，也仍需查对应官方文档。现有信息支持建立访问观察记录，不能据此评价网站的 AI 曝光效果。