AI 爬虫白名单库 Dark Visitors

Hacker News · darkvisitors.com#AI Agent#爬虫#开源

Editor brief · 编辑速览

整理了互联网上已知的 AI agents 列表。对需要反爬虫或了解 AI 生态的程序员有参考价值。

文章思维导图

Knowledge map

拖拽缩放

Full translation

完整中文译文

你的一半流量已经不是人类了。追踪、控制并优化 AI agent 和机器人。

加入 5000+ 个网站，准备迎接互联网的新时代

控制访问并节省 CDN 成本

从 LLM 测量推荐流量

收集数据以更智能地变现

监控 AI agent 交互

了解它们卡在哪里

改进它们的体验

优化你的购物漏斗

从它们获得更多收入

# KNOWN AGENTS (updated daily)

User-agent: GPTBot
Disallow: /

User-agent: DeepSeekBot
Disallow: /

User-agent: CCBot
Disallow: /

...

// Response

{
  "agent_token": "Claude-User",
  "agent_type_name": "AI Assistant",
  "operator_name": "Anthropic",
  "result": "verified"
}

对大多数网站免费，无需信用卡

在 5 分钟内免费连接你的网站

使用平台连接器或从后端代码调用 API