Cloudflare给AI公司下最后通牒：9月15日前必须分开爬虫，否则封杀

Cloudflare 近日对AI公司下了一记重拳：发布新政策，要求它们在9月15日前把用于搜索索引的爬虫和用于AI训练及智能体操作的爬虫彻底分开。 这项政策于8月15日公布，核心要求是AI公司必须明确区分不同用途的网络爬虫。如果到9月15日仍未合规，Cloudflare 将在网络级别默认屏蔽这些爬虫，影响范围覆盖数百万使用Cloudflare服务的出版商网站。 这是关于AI训练数据内容使用权的博弈中一次重大升级。多年来，AI公司一直在大量抓取网络内容来训练大语言模型，很多时候并未获得内容创作者的明确许可。出版商一直在反击，认为自己的知识产权被无偿使用。 Cloudflare 的新政策实际上是在迫使AI公司公开其数据收集行为。通过要求不同用途使用不同爬虫，Cloudflare 让出版商能够设置精细化的权限。比如，一个网站可以允许搜索爬虫索引内容，同时阻止AI训练爬虫访问。 9月15日的截止日期非常紧迫，只给AI公司一个月时间重新配置爬虫基础设施。对于那些严重依赖网络抓取数据的公司来说，这可能会打乱正在进行的训练流程。Cloudflare 表示，不合规的爬虫会在网络层面被拦截，AI公司很难绕过这些限制。 行业观察人士认为这是一个分水岭时刻。Cloudflare 庞大的网络覆盖意味着它的政策可能成为AI系统访问网络内容的新标准。如果其他内容分发网络也跟进，AI公司可能被迫与出版商谈判授权协议，这将从根本上改变AI训练数据的经济模式。 对出版商来说，Cloudflare 的政策提供了一个期待已久的工具来保护自己的内容。对AI公司而言，这代表着日益增长的监管和运营挑战。9月15日这个截止日期，现在成了AI行业日历上的一个关键节点。