防止 AI 爬虫的三种策略

为什么 AI 爬虫是互联网的"免费乘坐者"以及如何对付它们

直到最近，网站都在竭力让网络爬虫正确地索引它们的内容。

现在，一种新型爬虫——AI 爬虫正在改变格局，对开源内容造成负面影响，并越来越多地影响依赖内容的公司。

AI 爬虫为什么对我们所知的互联网有害

AI 爬虫正日益成为网站所有者面临的重大挑战，它们消耗资源并在没有许可或补偿的情况下抓取内容。

在最近的一篇 TechCrunch 文章中，你可以看到 AI 爬虫如何造成问题，特别是在开源开发者中。

AI 机器人不遵守机器人排除协议（robot.txt 文件），这个文件用于告诉机器人什么不应该被爬虫抓取，但很显然它们不遵守。人们报告：

• 网站所有者的成本激增

• 用户的中断或性能问题

• DDoS 中断 — 在最坏的情况下

一夜之间出站数据增加 10 倍

想要一个具体的例子？

发表于 Towards AI

由 Lo Zarantonello 撰写

软件工程师 | 讲师 | 探索自身环境的生命形式