三天日志实测：哪些爬虫读取 llms.txt

给网站加上 llms.txt，AI 爬虫就会照着它找内容吗？作者拿一个全新网站约 75 小时的服务器日志做了检查：确实有爬虫来取，但请求很少；页面的 Markdown 副本被访问得更多，而且更早。

这组数据值得看，因为它把「有人下载文件」和「文件产生效果」分开了。对维护技术文档、产品站的程序员来说，它能帮助安排改造优先级，也能提醒我们：别把几次抓取，直接当成 AI 收录或引用的证据。

llms.txt 有人抓，但还不能叫通行证

llms.txt 是放在网站根目录的 Markdown 文件，包含标题、网站简介和重要页面链接，每条链接可以附带说明。它在 2024 年 9 月 3 日被提出，目标是给语言模型提供一份简洁的网站地图。

不少网站还会提供 llms-full.txt，把页面全文集中进去。不过，这是常见约定，并非原提案的一部分。llms.txt 目前也只是提案，没有获得搜索引擎或 AI 公司的共同承诺。

作者的网站同时提供这两个文件，内容随已发布页面自动生成；每个页面还有一份在原地址末尾追加 .md 的 Markdown 副本。

观察窗口从 2026 年 10 月 29 日 10:23 UTC，到 11 月 1 日 13:00 UTC，约 75 小时。经过 IP 校验的爬虫请求共有 440 次，其中：

• Googlebot 请求 llms.txt 或 llms-full.txt 共 5 次，GoogleOther 共 4 次，ClaudeBot 共 1 次。
• 两种 llms 文件合计获得 10 次请求，约占 2%；Markdown 页面副本获得 77 次请求，占 17.5%。
• Bingbot 和 Applebot 没有请求 llms 文件；没有任何请求通过 OpenAI 或 Perplexity 官方 IP 范围校验。

这些数据能证明部分爬虫会下载 llms 文件，却不能证明它们认可这套约定。尤其不能从 Googlebot 的访问，推导出 Google 已把 llms.txt 用于搜索排名或 AI 回答。

抓取日志能证明文件被下载，不能证明内容被采用。

Markdown 先被找到，llms.txt 不是已证实的入口

这次观察最有价值的地方，是作者核对了请求顺序。

ClaudeBot 在 10 月 29 日 15:37 UTC 首次请求 Markdown，15:38 UTC 才请求 llms.txt，间隔约一分钟。后者距离网站上线约五小时。

GoogleOther 从当天 17:59 UTC 开始抓 Markdown，到 21:07 UTC 才取 llms.txt。Googlebot 则在当天 21:27 UTC 开始抓 Markdown，直到 10 月 30 日 18:45 UTC 才请求 llms.txt，晚了约 21 小时。

三种访问过 llms.txt 的爬虫，全都先访问了 Markdown 副本。因此，至少对它们首次找到的 Markdown 页面来说，llms.txt 不是发现入口。

它们从哪里找到这些页面？作者给每个 HTML 页面都加了指向 Markdown 副本的响应头，其中包含 Link、rel="alternate" 和 type="text/markdown"。这是可能的路径，但日志没有记录爬虫为什么选择某个 URL，不能把可能性写成结论。

77 次对 10 次，Markdown 副本的请求量约为 llms 文件的八倍。不过，前者是一组页面，后者只有两个文件。这个比较能说明抓取活动更多落在内容页，不能单独证明爬虫对 Markdown 的格式偏好，更不能证明改造成 Markdown 会让访问量提高八倍。

通知成功，不代表爬虫会来

作者还做了主动通知：每次发布或更新页面，网站都会把 HTML 页面、Markdown 副本和 llms.txt 提交给 IndexNow，由它传递给 Bing 等参与引擎。

llms.txt 出现在数十次提交中，响应码都是 200。但同一窗口内，Bingbot 只有 13 次经过验证的请求，没有一次访问 llms.txt、llms-full.txt 或 Markdown 副本。

200 只能说明提交接口返回成功，不能当成抓取完成的回执。这对排查「已经推送，为什么还没收录」很有参考价值：提交、抓取、内容使用，需要分别找证据。

作者对爬虫身份也做了筛选。仅凭 User-Agent 不算数，必须把请求 IP 与公司公布的地址范围匹配，HTTP 和 HTTPS 请求合并统计。

因此，使用 Googlebot 名称的 6 次请求、ClaudeBot 名称的 2 次请求，以及 GPTBot 名称的 2 次请求都被排除。这 10 次请求来自官方范围之外的地址，与作者自己的测试地址相同。来自人工测试的 Claude-User 请求也没有计入；它是 Anthropic 由用户触发的抓取器。

这里尤其不能把「没有验证通过的 OpenAI 请求」写成「ChatGPT 不读 llms.txt」。这次连 OpenAI 爬虫访问其他页面的有效记录都没有，样本不足以回答它如何处理该文件。

我的判断

我赞同作者把页面内容放在更高优先级，但理由应当是：这次观察里，内容页确实获得了更多抓取，而且并不依赖先读取 llms.txt。至于「只能做一个就选 Markdown」，目前仍是基于单站日志的实践建议，缺少对照实验。

一个新域名、约三天的记录，覆盖不了成熟文档站的链接积累、抓取频率和页面规模。原文也没有证明 Markdown 副本能增加 AI 引用，更没有比较它与清晰 HTML、完善 sitemap 各自带来的收益。

作者原先预测，前 30 天不会有经过验证的 AI 爬虫请求 llms.txt，结果 ClaudeBot 在约五小时内就推翻了预测。这个反例说明应该继续测，却不能据此宣布 llms.txt 已经有效。

后续实验 LL-001 更接近真正的问题：比较爬虫读取 llms.txt 或 llms-full.txt 后一小时，与读取 robots.txt 或 sitemap 后一小时，是否更容易访问此前未请求过的页面。「此前」从 10 月 29 日日志开始记录时算起。实验覆盖 11 月剩余时间，计划在 2026 年 12 月 1 日公布结果，当前原文没有结果。

另外，作者也经营网站 AI 搜索准备度和品牌提及情况的评估产品。这不影响日志本身的价值，但我们应当把这些产品的评价指标，与已经得到验证的效果分开看。

能拿来做什么

• 如果你维护技术文档站，可以在现有构建流程中自动生成 llms.txt，并按需提供 llms-full.txt；把它作为成本可控的补充，同时保证页面正文清晰可读。
• 如果已有 Markdown 源文件，可以评估是否公开对应的 .md 页面，并让 HTML 响应声明替代版本；观察真实抓取情况后，再决定是否扩大投入。
• 排查 AI 爬虫访问时，先查服务器或 CDN 日志中的 /llms.txt，再核对官方 IP 范围；同时统计内容页请求，避免只盯着入口文件。
• 接入 IndexNow 后，分别记录提交响应和实际抓取，把 200、文件下载、AI 回答引用当作三个需要独立验证的结果。