用 robots.txt 开放 AI 搜索并限制训练抓取
文章给出分开配置 OAI-SearchBot 与 GPTBot 的示例,让公开页面可被搜索爬虫抓取,同时拒绝训练相关抓取。私有页面仍由身份验证保护。
AI 深度解读
让网站被 AI 搜索发现,不等于同意网站内容被收集用于模型训练。原文讨论的是一个具体配置:允许 OAI-SearchBot 抓取公开页面,同时通过 robots.txt 拒绝 GPTBot 采集,私有内容继续依靠身份认证保护。
对维护技术博客、文档站和会员内容的开发者,这篇最有用的地方是把三个问题拆开:网站表达了什么抓取偏好,请求实际能否访问,以及内容有没有出现在回答里。三个问题需要分别验证,不能靠一份配置文件一次解决。
先决定用途,再决定允许哪个爬虫
原文列出的几个 OpenAI 爬虫,承担的任务不同:
- OAI-SearchBot 支持搜索功能。
- GPTBot 收集可能用于基础模型训练的材料。
- ChatGPT-User 服务于某些用户主动发起的操作,robots.txt 对这些操作可能不适用。
- OAI-AdsBot 检查提交的广告页面。
因此,「允许 OpenAI 访问」这个需求太宽泛。你可能希望公开文章参与搜索发现,同时拒绝训练相关采集;也可能允许公开文档抓取,但会员内容始终要求登录。
作者建议先写清策略,再打开配置文件。示例策略包含四点:公开页面允许搜索抓取,拒绝 GPTBot 采集,私有内容继续认证,不新增防火墙或访问控制例外。
原文说明,其运营方参考资料核查于 2026 年 11 月 18 日,并要求生产规则变更前重新核查。这是资料核查时间,不是效果实验日期,也不能证明相关规则长期不变。
robots.txt 能表达偏好,但规则不会自动继承
下面这段配置解决的是分别表达搜索抓取与训练采集偏好的问题,应审阅后合并进已有文件:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
要看清两组各自对应的 User-agent:Allow: / 只属于这里的 OAI-SearchBot 分组。作者明确提醒,不要拿这段直接替换整个 robots.txt。
更容易踩坑的是已有的通配符分组。按照原文对 Robots Exclusion Protocol(爬虫排除协议)的说明,匹配具体爬虫的分组,并不会简单继承 User-agent: * 的限制。匹配同一产品标识的分组会合并;在适用规则中,路径匹配越长,优先级越高;同等具体程度的允许与禁止冲突时,允许优先。
假设原来已经在通配符分组里排除了会员目录,新增搜索爬虫分组时,仍需审查该限制是否对它适用。下面这段明确表达搜索爬虫应避开会员目录:
User-agent: OAI-SearchBot
Allow: /
Disallow: /members/
关键是最后一行 Disallow: /members/。但它仍然只是抓取偏好,会员页面的身份认证必须保留,并单独验证。
robots.txt 不是私有内容的访问控制。
它也不会删除此前已经收集的材料,更不能证明页面一定会被选进 AI 回答。
上线后,要检查请求最终拿到了什么
作者建议保留旧文件、记录变更日期,上线后检查公开 robots.txt,以及三类代表性 URL:公开文章、排除路径和私有资源。
检查不能停在初始状态码。请求经过重定向后,即使返回成功状态,也可能拿到登录页或安全挑战页,而不是文章正文。反过来,robots.txt 写了允许,源站、内容分发网络或安全层仍可能拦截请求。
原文要求不要把四项检查压成一个「AI 可见性通过」,但提供的正文没有列出这四项的完整清单。这里存在信息缺口,不能自行补成作者的标准验收流程。
请求身份也需要另查。User-Agent 里的机器人名称只是声明,任何客户端都可以填写。若要给予爬虫特殊访问权限,应依据运营方当前公布的验证信息核实来源,不要把旧文章里的地址列表永久写死。
普通排障至少保留时间戳、请求路径、响应状态和相关访问决策,并避免在公开报告里暴露私有请求数据。日志能说明一次请求经过了什么处理,不能解释模型内部发生了什么,也不能单独证明回答为何选择某个来源。
我的判断
这篇最可靠的部分,是把配置、访问和回答表现拆开验收。对技术文档站,这比笼统追求「AI 可见性」更容易定位故障:文件没更新、请求被拦截、内容没被引用,需要不同的证据。
它也有明确边界。原文没有提供上线前后的抓取量、引用率或对照实验,因此不能据此推导「放开搜索爬虫就能增加曝光」。这是一份配置与排查指南,关于效果的判断仍缺少数据支持。
相比统一封禁所有爬虫,按用途配置更精细;相比为爬虫开放防火墙例外,它优先保留原有访问控制。不过,这套做法依赖爬虫遵守协议。真正需要保密的内容,仍要由服务端认证与授权保护。
允许抓取不是引用保证,出现引用也不等于用户访问了网站。
能拿来做什么
- 维护博客或文档站时,先分别写下搜索发现、训练采集和私有内容的访问策略,再审查已有 robots.txt,尤其检查通配符分组与具体爬虫分组的关系。
- 给 Node 服务或静态站点发布规则后,检查实际域名上的 robots.txt,并验证公开文章、排除路径和私有资源经过重定向后的最终响应。
- 排查 AI 搜索访问问题时,把规则是否生效、请求是否成功、回答是否引用分别记录;遇到未知结果就保留未知,不把缺少证据记成没有发生。