你的网站能被 ChatGPT 索引吗？

你已经针对 Google 做了优化。Sitemap 很干净，Core Web Vitals 指标全绿，结构化数据也验证通过。但当有人在 ChatGPT 或 Perplexity 上问起你的产品时，你的网站根本没有出现在答案里——而一个站点体验比你差的竞争对手却上了榜。

最可能的原因：那些为 AI 回答提供内容的爬虫，不是 Googlebot，它们看待你网站的方式也和 Googlebot 不同。

认识一下其他的爬虫

GPTBot（OpenAI）—— 为模型训练爬取内容，并通过一条独立的检索路径，为 ChatGPT 回答中的实时浏览和引用提供服务。

ClaudeBot（Anthropic）—— 理念相同，为 Claude 的网络搜索和引用提供支持。

PerplexityBot —— 专门为带引用的实时查询回答而爬取；这是最直接关系到"我会不会被提及"的爬虫。

Google-Extended —— 与常规 Googlebot 分离的 opt-in 信号，控制 Google 的 AI 功能能否使用你的内容。

每一个都遵守 robots.txt，但作为独立的 User-Agent——封禁 Googlebot 不会封禁这些，封禁其中一个也不会封禁其他的。大多数网站从未明确考虑过它们中的任何一个。

为什么排名正常的网站仍然可能隐形

1. robots.txt 意外封禁了它。 一些网站生成器和"AI 保护"插件会为 GPTBot/CCBot 等添加全量 Disallow 规则，而网站所有者没有意识到这不仅封禁了训练数据爬取，也同时失去了被引用的资格。检查一下你的：

curl -s https://yoursite.com/robots.txt | grep -A2 -i "gptbot\|claudebot\|perplexitybot"

2. 内容仅在客户端渲染。 这是最关键的问题。传统 SEO 爬虫（Googlebot）会执行 JavaScript 并等待你的 SPA 完成渲染。而多个 AI 爬虫直接拉取原始 HTML 然后继续——不会执行 JS。如果你的内容只在 React/Vue 挂载后才存在，AI 爬虫看到的可能就是一个空的 <div id="root">，什么都没有。

测试爬虫实际收到的内容，与你浏览器渲染的内容对比：

curl -s -A "GPTBot" https://yoursite.com/ | grep -o '<title>.*</title>'

如果那个 title 标签（或者你关心的正文内容）缺失或很通用，但你的浏览器显示正常——这就是 JS 渲染的差异。

3. 没有结构化数据，或结构化数据损坏。 AI 回答引擎依赖 schema.org JSON-LD 来明确页面实际是关于什么的——产品、文章、FAQ还是组织——而不是纯粹从正文中推断。一篇内容很好但没有任何结构化数据的页面，对检索系统来说很难有信心地引用。

4. 没有 llms.txt。 一个新兴的、尚未普遍采用的约定——在 /llms.txt 放置一个纯文本文件，提供站点的精选、LLM 可读的摘要，说明你的站点是什么、重要页面在哪里——与 sitemap.xml 精神一致，但面向语言模型而非搜索引擎索引。虽然不是每个爬虫都在用它，但添加它几乎零成本，直接解决了"模型能否总结我们是干什么的"这个问题。

5. 过时的 noindex 残留。 上线前忘了删除的 staging 环境 meta 标签（<meta name="robots" content="noindex">）会封禁一切爬虫——传统的和 AI 的一视同仁。

五分钟自查清单

curl -A "GPTBot" yoursite.com/robots.txt

确认你没有意外封禁。

curl -A "GPTBot" yoursite.com/

将其与你浏览器渲染的内容对比——确认内容确实在原始 HTML 里。

验证你的结构化数据（Google 的 Rich Results Test 完全可以用于此目的，虽然挂着 Google 的品牌——它本质上就是一个 schema.org 验证器）。

检查 /llms.txt 是否存在。如果没有，20 分钟就能加上。

在代码库里搜索残留的 noindex 标签。

我们在构建 RankCLI 时遇到了完全相同的问题——开源 MCP 服务器（npx @rankcli/mcp-server，无需注册）可以对你的上述所有项进行 GEO 检查，同时做常规的技术 SEO 审计，这样每次上线就不用跑五轮手动 curl 命令了。免费层是真正免费的；托管层只是在上面增加了定时任务和自动修复 PR 的功能。

但即便不使用任何工具，上述五项检查花费的时间比写完这句话还短，而大多数网站从未运行过其中任何一项。