用 Python 审计 AI 爬虫访问规则
文章用纯 Python 标准库构建面向 13 种 AI 爬虫的 robots.txt 审计脚本,区分训练、搜索引用和用户触发抓取。它指出 urllib.robotparser 的路径匹配行为与 RFC 9309 存在差异,可能误判访问权限。
AI 深度解读
想知道网站有没有屏蔽 GPTBot,搜一下 robots.txt 里的名字远远不够。作者用一个约 90 行、只依赖 Python 标准库的脚本说明:真正决定访问权限的,是爬虫选中了哪组规则,以及目标路径最终匹配了哪条规则。
这篇最有用的提醒有两个:标准库解析器未必适合做权限审计;禁止模型训练、禁止 AI 搜索引用、禁止助手按用户要求打开链接,是三种不同的选择。把它们放进同一组配置,可能顺手关掉你原本想保留的入口。
为什么搜到 Disallow,还不能判定禁止访问
robots.txt 不是一张看到「禁止」就结束的名单。按作者介绍的 RFC 9309 规则,判断需要经过两步:先确定爬虫适用的 User-agent 分组,再比较组内匹配目标路径的规则。
存在点名该爬虫的分组时,脚本合并这些分组;没有点名分组,才回退到 *。因此,通用规则里的限制,不能直接套到已经有专属分组的爬虫身上。
路径判断也不能看文件顺序。作者用下面的代码展示 urllib.robotparser 的问题:
import urllib.robotparser as rp
rules = "User-agent: *\nDisallow: /\nAllow: /blog/\n"
p = rp.RobotFileParser()
p.parse(rules.splitlines())
print(p.can_fetch("GPTBot", "/blog/post")) # False
要看的是 Allow: /blog/ 这一行:它匹配 7 个字符,比 Disallow: / 的 1 个字符更长。按原文解释,/blog/post 应该允许访问,但这里返回了 False。
作者指出,urllib.robotparser 按文件顺序返回首条匹配规则,也不支持路径中的 * 和 $。对于宁可少抓内容的爬虫,这种保守结果或许能接受;对于审计工具,它会把允许访问误报成禁止。
审计的目标是还原规则结果,不能把「更保守」当成「更准确」。
这个脚本到底查了什么
脚本先请求 https://<domain>/robots.txt,使用 urllib.request.Request,请求头为 User-Agent: robots-audit/1.0,并通过 urllib.request.urlopen(req, timeout=15) 设置超时。响应以 decode("utf-8", "replace") 解码。
作者将 HTTP 4xx 转成空规则,即没有限制;将 5xx 和其他请求异常转成 None,输出无法访问,并按全部禁止处理。这是脚本采用的审计策略,不能据此断言服务器明确配置了禁止规则。
随后,parse(text) 去掉注释、识别分组,连续的 User-agent 行共享一组规则。分组选取的关键代码如下:
def rules_for(groups, bot):
bot = bot.lower()
named = [r for a, r in groups if bot in a]
if named:
return [x for r in named for x in r], "named"
star = [r for a, r in groups if "*" in a]
return [x for r in star for x in r], ("*" if star else "none")
要留意 if named::一旦找到点名分组,函数就直接返回,不会继续叠加通用分组。这里的 bot in a 是检查列表中有没有对应名称,并非对任意 User-Agent 请求头做完整识别。
路径部分由 matches(pattern, path) 和 allowed(rules, path="/") 处理:* 匹配任意内容,末尾的 $ 约束路径结尾;匹配模式更长的规则优先,长度相同则 Allow 优先。空的 Disallow: 不构成禁止。
这个默认参数尤其关键:原脚本只检查根路径 /,输出不能直接代表整站。 如果关心博客栏目,需要调用 allowed(rules, "/blog/"),并继续检查实际文章路径。
为什么要把 13 个爬虫分成三类
作者将 13 个 token 分成训练、搜索和用户触发抓取三类。训练类有 7 个,搜索类和用户触发类各有 3 个。它们对应不同的内容使用方式,也应该对应不同的站点决策。
例如,你可能不希望内容参与模型训练,但仍希望 AI 搜索引用文章;也可能愿意让助手打开用户主动提供的链接。这些意图不能用一个「屏蔽 AI」开关准确表达。
作者在 2026 年 11 月 19 日运行了以下命令:
python3 ai_bots.py nytimes.com github.com anthropic.com theguardian.com stackoverflow.com example.com
结果中,nytimes.com 在脚本检查范围内屏蔽了全部 13 个 token;github.com、anthropic.com、stackoverflow.com 和 example.com 没有被判定屏蔽。
theguardian.com 则屏蔽了 5 个训练 token、2 个搜索 token,以及 1 个用户触发 token。作者指出,它把 ClaudeBot、Claude-SearchBot 和 Claude-User 放在同一组,因此三者一起受限。
这能证明配置产生了什么结果,却不能证明站点配错了。作者也承认,那可能就是站方的意图。
输出中的 (named) 表示命中点名分组,(*) 表示受通用分组限制。它们适合帮助定位配置来源,但 (named) 只能证明文件里有明确名称,不能证明维护者理解了全部影响。
我的判断
我认可作者把「规则判断」和「内容使用意图」放在一起讲。前者解决审计是否准确,后者解决配置是否符合业务目标。对内容站来说,只问有没有挡住 GPTBot,确实太窄。
但这个脚本更适合作为可读、可修改的检查起点。它对已列 token 做名称匹配,用 len(pat) 比较模式长度;原文没有给出完整的 RFC 边界测试,也没有给出不同 Python 版本的兼容性结果。不能仅凭示例通过,就把它当成经过全面验证的合规解析器。
「很多网站无意中退出 AI 搜索」也需要保留判断。原文给出了站点输出,却没有站方意图调查,也没有修改配置前后的引用量对照。这部分是作者的经验判断,不能直接推导成流量结论。
另外,robots.txt 表达的是访问约定。CDN、WAF 和机器人管理配置可能继续拦截请求,不遵守约定的爬虫也不会因此被技术阻止。最终需要结合服务器日志判断真实访问。
脚本不读取 Content-Signal,例如 ai-train=no,也不读取 llms.txt。作者另提到一个免费、无需注册的在线检查器,声称覆盖 24 个爬虫,并检查这些文件及被 robots.txt 阻止的链接。那是作者介绍的扩展能力,原文没有提供独立验证。
能拿来做什么
- 给博客、文档站或内容产品整理 AI 抓取策略时,先分别确认训练、搜索引用和用户触发访问的意图,再组织 User-agent 分组。
- 修改 robots.txt 后,检查
/、/blog/和具体文章路径,尤其核对Disallow: /与更长Allow路径同时存在的情况。 - 用 Python 或 Node 编写自己的审计工具时,保留分组来源和命中规则,避免只输出一个允许或禁止的布尔值,让配置问题有据可查。
- 排查 AI 助手打不开页面时,同时检查 robots.txt、CDN/WAF 配置和访问日志;依赖爬虫名单前,再对照运营方文档确认 token。