Cloudflare、AI企業にコンテンツ利用料を事実上要求へ

Cloudflareは、AI企業に対して厳しい姿勢を取り、ウェブクローラーを分離するよう求める新ポリシーを発行しました。8月15日に発表されたこのポリシーは、AI企業に対し、検索インデックス作成に使用するクローラーと、AIトレーニングおよびエージェント運用に使用するクローラーを区別することを要求しています。9月15日までに遵守しない企業は、Cloudflareのサービスを利用する数百万のパブリッシャーウェブサイト全体でデフォルトでブロックされるリスクがあります。 この動きは、AIトレーニングデータのコンテンツ使用権をめぐる継続的な争いにおける重要なエスカレーションです。長年にわたり、AI企業は大規模言語モデルをトレーニングするために膨大な量のウェブコンテンツをスクレイピングしてきましたが、多くの場合、コンテンツ作成者からの明示的な許可を得ていませんでした。パブリッシャーは、自らの知的財産が補償や同意なしに使用されていると主張し、反発してきました。 Cloudflareの新ポリシーは、事実上、AI企業にデータ収集慣行の透明性を強制するものです。異なる目的のために別々のクローラーを要求することで、Cloudflareはパブリッシャーが詳細な権限を設定できるようにします。例えば、パブリッシャーは検索クローラーにサイトのインデックス作成を許可しつつ、AIトレーニングクローラーをブロックすることができます。 9月15日の期限は意図的に厳しく設定されており、AI企業にクローリングインフラを再構成する猶予はわずか1ヶ月です。ウェブスクレイピングデータに大きく依存する企業にとって、これは進行中のトレーニングパイプラインを混乱させる可能性があります。Cloudflareは、非準拠のクローラーはネットワークレベルでブロックされ、AI企業が制限を回避するのは困難になると示唆しています。 業界関係者は、これを分水嶺と見なしています。Cloudflareの巨大なネットワークフットプリントは、そのポリシーがAIシステムによるウェブコンテンツへのアクセス方法に関する新たな標準を設定する可能性があることを意味します。他のコンテンツ配信ネットワークが追随すれば、AI企業はパブリッシャーとのライセンス契約を交渉せざるを得なくなり、AIトレーニングデータの経済性が根本的に変わるでしょう。 パブリッシャーにとって、Cloudflareのポリシーは、長年待ち望まれていたコンテンツ保護ツールを提供します。AI企業にとっては、規制上および運用上の課題が増大することを意味します。9月15日の期限は、今やAI業界のカレンダー上の重要な日付となっています。