Apify MCP Server：2 分钟让 AI 操控真实网页爬虫

你可以让 Claude、ChatGPT、Cursor 或任何 MCP 客户端具备运行真实网页爬虫并获取实时数据的能力——搜索结果、Cloudflare 身后的网页、商业线索、招聘列表——无需编写任何集成代码。下面介绍如何使用 Apify MCP server 来实现这一点。

你需要知道的一件事

Apify 在 https://mcp.apify.com 托管了一个 MCP server。将任何 MCP 客户端指向它，你的 AI 就能发现并运行数千个 Apify Actor（爬虫），读取它们的结果，并动态适应新任务。

Claude Desktop（最简单）

Settings → Connectors → Add custom connector

Server URL: https://mcp.apify.com

浏览器会打开一次，让你登录 Apify 并批准访问。

搞定——问 Claude「搜索 X 的网页」或「爬取这个 URL」，它就会运行相应的工具。

任何 MCP 客户端（Cursor、VS Code、Claude Code……）

将以下配置添加到你的 MCP 配置中：

{
  "mcpServers": {
    "apify": {
      "url": "https://mcp.apify.com"
    }
  }
}

更倾向于用 token 而不是 OAuth？加一个 header：

{
  "mcpServers": {
    "apify": {
      "url": "https://mcp.apify.com",
      "headers": { "Authorization": "Bearer <APIFY_TOKEN>" }
    }
  }
}

从 Apify Console → API & Integrations 获取你的 token。

只加载你需要的工具

默认情况下，server 会加载发现工具 + 网页浏览器。如果想把特定的爬虫暴露为可调用的工具，在 URL 中列出它们：

https://mcp.apify.com?tools=get_anything/serp-scraper,get_anything/web-unblocker,get_anything/contact-extractor

我个人在 LLM 工作流中真正觉得有用的几个：

serp-scraper — Google/Bing/DuckDuckGo 结果转为 JSON，用于 RAG grounding

web-unblocker — 绕过 Cloudflare/DataDome 抓取任意 URL，返回干净的 Markdown

llm-web-scraper — 任意 URL/网站 → LLM 可用的 Markdown

contact-extractor — 从域名列表中提取邮箱/电话/社交账号

google-maps-leads — 包含电话、网站和邮箱的本地商家

无 token 发现模式

为了发现/测试，你可以通过只加载只读工具来无 token 连接：

https://mcp.apify.com?tools=search-actors,fetch-actor-details,search-apify-docs,fetch-apify-docs

运行一个 Actor（并获取数据返回）需要 token 或 OAuth 登录。

不再需要把数据复制粘贴到 prompt 中，你的 AI 可以实时获取——有依据的、最新的、结构化的。这就是「猜测的 LLM」和「知道的 LLM」之间的区别。

试试看：将 Claude Desktop 指向 https://mcp.apify.com，然后让它爬取一些内容。完整文档：Apify MCP server。