Cloudflare 下通牒：AI 公司 9/15 前須區分爬蟲，否則封鎖

Cloudflare 對 AI 公司採取了強硬立場，發布一項新政策，要求它們在嚴格的期限內區分其網路爬蟲。這項於 8 月 15 日宣布的政策，要求 AI 公司必須將用於搜尋索引的爬蟲，與用於 AI 訓練及代理程式運作的爬蟲區分開來。未能於 9 月 15 日前遵守規定的公司，將可能被使用 Cloudflare 服務的數百萬個出版網站預設封鎖。 此舉是 AI 訓練資料內容使用權爭議中的一次重大升級。多年來，AI 公司大量抓取網路內容來訓練大型語言模型，通常未經內容創作者的明確許可。出版商一直反彈，認為他們的智慧財產權在未獲補償或同意的情況下被使用。 Cloudflare 的新政策實際上迫使 AI 公司對其資料收集行為更加透明。透過要求為不同目的使用不同的爬蟲，Cloudflare 讓出版商能夠設定精細的權限。例如，出版商可以允許搜尋爬蟲索引其網站，同時封鎖 AI 訓練爬蟲。 9 月 15 日的截止日期刻意訂得很緊，只給 AI 公司一個月的時間重新配置其抓取基礎設施。對於高度依賴網路抓取資料的公司來說，這可能會中斷正在進行的訓練流程。Cloudflare 已表示，不合規的爬蟲將在網路層級被封鎖，使 AI 公司難以繞過這些限制。 業界觀察家認為這是一個分水嶺時刻。Cloudflare 龐大的網路足跡意味著其政策可能為 AI 系統如何存取網路內容設立新標準。如果其他內容傳遞網路業者跟進，AI 公司可能被迫與出版商協商授權協議，從根本上改變 AI 訓練資料的經濟模式。 對出版商而言，Cloudflare 的政策提供了一個期待已久的工具來保護其內容。對 AI 公司來說，這則代表了日益增長的監管與營運挑戰。9 月 15 日的截止日期現在已成為 AI 產業行事曆上的關鍵日期。