OpenAIは、ウェブサイトが基盤となる生成AIの訓練への自サイトのコンテンツ利用について意向を示すためのファイルである robots.txt の共通のシグナルを尊重すると発表しました。この対応は自主的な取り組みであり、パブリッシャーやウェブサイト運営者が、参加している複数のプロバイダーに同じ意向を一度に伝えやすくなります。これまでウェブサイト運営者は、個々のクローラーを特定し、プロバイダーごとに別々のルールを維持する必要がありました。複数のプロバイダーで共通のシグナルを使えば、運営者のその作業が減ります。

さらにOpenAIは、AI訓練に関する意向を示す robots.txt の共通のシグナルを尊重するよう、他のAIプロバイダーにも促しています。この取り組みについては、人々が情報を公開・発見でき、ウェブサイト所有者が自サイトのコンテンツの利用方法についての意向をより明確で簡単な方法で伝えられる、オープンなウェブへの実践的な一歩だと位置づけています。

実装時には、実装内容の詳細を伝える続報を出す予定です。

OpenAIは、AI訓練に関する意向を示す robots.txt の共通のシグナルを今後数か月以内に実装することを目指しています。ウェブパブリッシャーに自サイトのページに対する柔軟性とコントロールを与える既存のクローラー制御は、引き続き適用され、尊重されます。

OpenAIが発表した、robots.txtを通じてウェブサイトのコンテンツ利用に関する意向を示すための共通のシグナルは、OpenAIがすでにrobots.txtを通じて提供しているコントロールに取って代わるものではありません。

AI訓練に関する意向を示す robots.txt の共通のシグナルは、Internet Engineering Task Force(IETF)の AI Preferences ワーキンググループによる継続的な作業を土台にしています。OpenAIは、同ワーキンググループの他の参加者とともに今回の共通シグナルの発表に加わっており、これがIETFの標準化議論への継続的な参加を強めると考えています。また、適切なコントロールと公平性を考慮し、IETFでの議論や状況が進展するのに合わせて、自社の慣行を引き続き調整していくとしています。