Cloudflare 按用途放行或拦截 AI 爬虫
作者在两个接入 Cloudflare 的站点上仅更换机器人标识进行请求测试,并区分训练抓取、搜索索引和用户触发访问三类流量。文章给出了拦截训练抓取、保留搜索和用户访问的配置思路。
AI 深度解读
Cloudflare 拦 AI 爬虫,最容易配错的地方,是把「拿内容训练模型」「建立 AI 搜索索引」「替用户打开链接」当成同一件事。作者的结论很明确:不想让内容进入训练集,又希望网站能被 AI 搜索引用,就把 Training 设为 Block,Search 和 Agent 保持 Allow。
这篇值得读的地方,是它把配置、请求测试和排障连了起来。但要分清:作者测到了特定请求的返回结果,没有证明放行后一定能获得流量,更没有证明伪装爬虫名称就能代表真实爬虫。
先分清来访目的,再决定拦谁
同一家公司的不同爬虫,承担的任务并不一样。
OpenAI 的 GPTBot 收集训练数据,OAI-SearchBot 为 ChatGPT 搜索建立索引,ChatGPT-User 则在用户提问需要时抓取页面。Anthropic 对应的是 ClaudeBot、Claude-SearchBot、Claude-User。PerplexityBot 建立搜索索引,按其声明,不用于训练基础模型;Perplexity-User 负责用户发起的抓取。
Google-Extended 更特殊:它不是独立爬虫,而是 robots.txt 中控制 Gemini 训练用途的标识。按原文引述,限制它不会影响 Google Search 收录或排名,正常 Googlebot 抓取也不受影响。CCBot 属于 Common Crawl,其数据集会被多个模型用于训练;Bytespider 属于 ByteDance。
因此,拒绝 GPTBot 和拒绝 OAI-SearchBot,是两个不同决定。原文引用 OpenAI 文档称,退出 OAI-SearchBot 抓取的网站不会出现在 ChatGPT 搜索答案中。拦住 ChatGPT-User,则可能让用户粘贴链接后无法完成摘要。
允许抓取是获得引用的前提之一,不是获得引用的保证。
Cloudflare 的拦截和 robots.txt,各管什么
按原文截至 2026 年 11 月的描述,旧教程里的单一 Block AI bots 开关已经被替换。入口是选择域名后,进入 Security › Settings,筛选 Bot traffic,再打开 AI Crawler and Agent access policies。
这里分别配置 Training、Search、Agent。作者建议商业网站和博客从 Training: Block、Search: Allow、Agent: Allow 起步。原文还强调,新域名三项默认都是 Allow (do not block),不能根据早期默认拦截的宣传判断当前配置。
Training 支持 Allow、Block、Block on pages with ads、Disallow。最后一个只是写入 robots.txt,依赖对方遵守;Search 和 Agent 支持前三种动作。按原文描述,Block on pages with ads 针对广告页面,对没有广告的商业网站相当于 Allow。
还有一个边界:兼做训练和搜索的爬虫会被归入 Training,整组拦截可能连带影响搜索用途。
robots.txt 是另一层。Cloudflare 可在所有套餐中托管它,在原文件前加入 search=yes, ai-train=no 的 Content-signal 声明,以及针对 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagent 的 Disallow 规则。
Content Signals 包括 search、ai-input、ai-train,分别表达搜索、实时回答使用内容、训练的许可意愿,但属于自愿遵守的格式。
robots.txt 表达抓取规则,边缘拦截才会直接拒绝请求。
用户发起的抓取尤其不能只靠 robots.txt。原文称,OpenAI 表示规则可能不适用于 ChatGPT-User,Perplexity-User 通常忽略这些规则;Anthropic 则声明其机器人遵守 robots.txt,包括 Crawl-delay。OpenAI 的 robots.txt 变更约需 24 小时生效,也不适合修改后立刻下结论。
返回 200,就能证明 AI 看得见吗
作者在 2026 年 11 月 18 日,对两个使用 Cloudflare 的站点发送请求,只改 User-Agent。站点 A 没有开启 AI 拦截,全部返回 200;站点 B 拦截训练用途,GPTBot、ClaudeBot、CCBot、Bytespider 返回 403,搜索和用户代理以及 Googlebot 返回 200。
站点 B 的 robots.txt 没有 AI 规则,作者据此判断,拦截发生在 Cloudflare 边缘。
下面的循环用于快速比较同一网址对不同 User-Agent 的响应:
for ua in GPTBot ClaudeBot CCBot Bytespider OAI-SearchBot ChatGPT-User \
Claude-SearchBot Claude-User PerplexityBot Perplexity-User Googlebot; do
printf "%-18s " "$ua"
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; $ua)" https://example.com/
done
关键是 -A 这一行:它只更改请求中的 User-Agent,没有把请求变成来自 OpenAI 或 Anthropic 的真实爬虫。
作者明确承认,测试来自普通网络。Cloudflare 还会依据请求来源识别已验证机器人,所以这个实验只能说明规则如何处理这些名称,不能证明真实爬虫得到相同待遇。
进一步核对,要看 AI Crawl Control,旧名是 AI Audit。它展示实际来访爬虫、请求量,以及忽略 robots.txt 的情况,可以逐个 Allow、Block 或 Charge。Block 会创建 WAF 自定义规则;Charge 按抓取收费,原文称仍处于封闭测试。所有套餐均可使用,但 Free 仅按 User-Agent 检测,且不能自定义拦截响应。
前端开发者还要多查一层:200 不等于正文可读。JavaScript 挑战页可能挡住抓取器;纯客户端渲染页面即使返回成功,HTML 也可能只有空壳。用 curl 检查响应里是否包含正文,比只看状态码更有价值。
作者给出的排障顺序是:先查 Search、Agent 策略,再查 Bot Fight Mode、WAF、国家限制和限流,接着查 JavaScript 挑战、robots.txt,最后确认正文是否存在于初始 HTML。Security › Events 可以帮助定位触发的规则。
我的判断
这套分类比一键拦截更适合需要公开传播内容的网站。产品文档、支持页面、商业介绍和技术博客,通常希望 AI 助手能准确读取内容;训练授权可以另作决定,没有必要把所有访问绑在一起。
但作者没有提供 AI 引荐流量、引用率或转化率的对照数据。「放行搜索能带来访客」有合理路径,具体收益仍是经验判断。博客开放几个月后也有抓取成本,不能直接认定毫无损失。
付费、授权和广告内容的取舍也不同。允许 AI 读取,可能方便用户,也可能让用户在站外完成阅读。是否接受这种交换,要看内容的商业模式。
此外,这里的拦截不是对内容用途的全面保证。实验只覆盖两个站点和特定请求名称,也不能据此推断所有抓取者都会被正确识别,或已经被收集的内容会退出训练集。
能拿来做什么
- 对使用 Cloudflare 的博客、产品官网或文档站,先核对 Training、Search、Agent 三项实际配置。需要公开引用且不愿开放训练时,可以从 Block、Allow、Allow 开始,再检查混合用途爬虫是否需要单独调整。
- 遇到 ChatGPT 或 Claude 无法打开链接,先运行原文的 curl 循环,再检查响应正文和 Security › Events。把访问被拒、挑战页和 HTML 缺少内容分开处理。
- 对依赖客户端渲染的前端页面,检查初始 HTML 是否包含需要被引用的正文。缺失时,再评估服务端渲染或预渲染,不能把抓取失败全部归因于 Cloudflare。
- 调整后观察一个月的 AI Crawl Control;博客还可在 GA4 配置 AI 引荐流量渠道,连续观察几个月。用实际抓取和访问表现决定是否继续放行,而不是把一次配置当成永久答案。