OpenAIは、児童性的虐待コンテンツ(CSAM)を検出する新ツール、有害な行動を中断させ人々を支援へ導く介入策、開発者向けの実践的なリソース、そして児童の安全を担う法執行機関の捜査官への支援をリリースしました。これらの取り組みは、Child Safety Blueprintと、虐待の検出・ブロック・報告に関する継続的な取り組みを土台にしています。新しいツール、実践的なガイダンス、パートナーシップは、オンライン上の児童の性的搾取と虐待の防止、検知、対応に役立ちます。

OpenAIのような個々の企業には、自社の技術が加害者に悪用されて子どもに危害を加えることを防ぐ責任があります。同時に、業界全体、児童の安全に取り組む組織、法執行機関と協力して、オンライン上で子どもを守る集団的な取り組みを前進させなければなりません。オンライン上の児童に対する加害者への対処には、多くの組織にまたがる連携が必要であることは十分に確立されています。保護者にとっての目標は単純で、人々が主導権を握ったまま、子どもの安全を守るのに役立つ技術を提供することです。

新しいCSAM画像分類器の特徴

OpenAIは、AI生成の素材を含め、CSAMの可能性がある画像を検出できる新しい画像分類器をリリースし、既存の保護策を強化しています。この分類器は虐待の視覚的な兆候を探し、これまで見られていない可能性のある新規の画像をチームが特定するのに役立ちます。また、レビュー担当者がどの画像を先に確認する必要があるかを判断するためのスコアを返します。さらに、CSAMがAI生成の可能性があるかどうかを示す特定のシグナルを備えた、広く利用可能な初のCSAM分類器です。

審査を経た組織には、OpenAI APIを通じて新しい分類器へのアクセスを無償で提供しています。規模の異なるチームを持つ組織を含め、児童の安全に取り組む組織や業界全体にとって、CSAMの検出がより利用しやすくなります。アクセスを共有するため、Tech CoalitionとROOSTにも協力を依頼しました。

分類器の評価結果と業界との連携

OpenAIは、新しい分類器を社内および初期パートナーとともにテストし、虐待コンテンツをどれだけ検出するか、他の画像をどのくらいの頻度でフラグ付けするか、安全対策チームをどう支援できるかを測定しました。初期パートナーのフィードバックは、弱点の特定とシステムの改善に役立ちました。初期テストでは、この分類器がレビュー担当者が虐待画像に集中しつつ、誤検知(false positives)のレビューを減らすのに役立つことが示唆されています。

ユーザーがアップロードした画像を対象にした評価で、OpenAIは新しい分類器を現行の保護策と比較しました。新しい分類器は既存のツールとほぼ同数の虐待画像を見つけつつ、フラグを立てる画像が48%少なくなると推定され、レビュー作業を減らせる可能性がありました。新しい分類器がフラグを立てた画像は、現行の保護策がフラグを立てた画像に比べ、虐待を含む可能性が約2倍でした。

OpenAIのチームは、オンライン上の児童の搾取に関する一元的な通報窓口であるCyberTiplineを運営する非営利団体、National Center for Missing and Exploited Children(NCMEC)の支援を受けて、新しい分類器を実運用向けに訓練・評価・設計しました。

早期アクセスのパートナーは、分類器が自社の安全チームをどう支援するかを評価しました。falの人間がレビューした本番画像でのテストでは、レビュー担当者が分類器の高信頼度のフラグのうち72%を新規のCSAMと確認しました。invideo AIのテストでは、分類器がフラグを立てた事例の4件に1件がBAN(アカウント停止)につながりました。子どもを性的に描く絵やアニメーションを対象としたSafetyKitの評価では、分類器は90%の事例を検出しました。

分類器の詳細はCSAM classifier model cardで確認できます。分類器に関心のある組織は、intake formからアクセスを申請できるようになります。OpenAIは、利用者からのフィードバックを受けて分類器の改善を続けていきます。

OpenAIは、ThornのSafer CSAM detection systemなど他者が開発したツールを強く支持しています。さらに最近、Tech CoalitionのLanternプログラムへの参加を開始しました。このプログラムでは、オンライン上の児童の性的搾取と虐待に関するシグナルを共有・受信し、プラットフォームをまたいだ連携を強化します。児童の安全は業界全体の問題であり、組織をまたいだ強い連携と多様な解決策が必要です。

開発者向けCSAMガイダンスと関連ツール

OpenAIは、開発者が虐待を防ぎ、有害なコンテンツを検出し、対処するための実践的な手順を示すCSAMガイダンスを公開しました。このCSAMガイダンスは、Tech Coalition、Thorn、NCMEC、Internet Watch Foundationの意見を得て作られ、安全システム構築のさまざまな段階にある組織向けに設計されています。また、明確なルール、ユーザーが懸念を報告する方法、検出ツール、疑わしい虐待をレビューし報告するプロセスを示しています。また、safety identifiersを使って開発者が不正利用を個々のユーザーに結びつける方法や、機微なコンテンツをレビューする人々を支援する方法についても説明しています。

開発者は、新しい画像分類器やModeration API、ROOSTのセルフホスト型レビューコンソールCoop、そしてThornのSaferといった専用のCSAM検出サービスなどのツールと併せて、CSAMガイダンスを使うことができます。

ChatGPTの警告とアクセス停止による介入策

オンラインでの子どもの保護は、検出だけでは終わりません。ChatGPTの新しい警告は、要求された素材がAI生成の場合を含め、子どもを性的対象化することが害を及ぼすと明確に示します。この警告とともに、OpenAIはフラグが立った会話を削除し、ChatGPTへのアクセスを24時間停止する一方、有害な行動をやめるための専門的な支援は引き続き利用できるようにします。違反が繰り返された場合は、より長い制限、最終的にはアカウント閉鎖や当局への通報につながることがあります。OpenAIはすでにCSAMを禁止し、モデルがCSAMの要求を拒否するよう訓練し、ポリシーに違反したアカウントに措置を講じています。こうしたセーフガードを土台に、ChatGPTに新しい警告を導入します。警告は、虐待コンテンツを探そうとする試みを中断させ、その結果を説明し、有害な行動をやめるための支援へ人々を導きます。OpenAIは、この警告とアクセス停止による介入策を、児童性的虐待を防ぐプログラムを研究・開発する組織や学術アドバイザーの意見を得て開発しました。具体的には、Protect Children、the Lucy Faithfull Foundation、ケント大学のDr. Caoilte Ó Ciardha、および独立して抑止メッセージの試験を評価したタスマニア大学のJoel Scanlanが関わっています。

捜査官への支援と開示対応ガイダンス

子どもを守るためには、被害者を見つけ出して虐待を止めようと活動する児童の安全を専門とする捜査官を支援することも含まれます。OpenAIはThornとともに公に論じてきたとおり、AIは捜査官が情報を整理して優先順位をつけるのを助け、虐待コンテンツへの不必要な曝露を減らすのに役立ちます。

Tech Coalitionが最近公開したAIシステムにおける児童の性的搾取と虐待の開示への対応に関するガイダンスは、こうしたデリケートな状況に対処するための実践的な推奨事項を開発者に提供します。このガイダンスにより、児童の安全ツールを利用する開発者や、NCMECへのCSAM報告に登録する開発者の数が増えているのをOpenAIはすでに確認しています。このガイダンスは、OpenAIがAnthropicおよびGoogleと共同で依頼したものです。

OpenAIは、児童の安全を担う法執行機関に対し、捜査でAIを使う方法に関する新しいツールとトレーニングを提供します。これには専用のプラグイン、捜査ツール、複雑なデータ分析が含まれ、アクセスはプログラム管理者が管理します。提供開始時の最初のツールは、捜査官が長いチャットログや法的手続きによる返却データ(legal process returns)を確認し、潜在的なつながりを特定し、タイムラインを作成するのを助けます。このとき、調査結果は元の資料にリンクされます。

児童の安全を担う法執行機関向けの最初のトレーニングは、概要とデモンストレーションとして行う計画で、チームが後から参照できる実践的なフィールドガイドが添えられます。このトレーニングでは、ツールと、それが捜査業務にどう組み込まれるかを紹介します。なお、アクセスは、機関の承認とプログラムの要件によって決まります。

児童の安全を担う法執行機関向けトレーニングの今後の版は、地域、国、国際の各会議で提案される予定です。OpenAIは今後もセーフガードの改善を続けながら、児童保護団体、開発者、研究者、捜査官に、子どもを守り、児童の性的搾取に対処し、加害者を裁きにかけるために必要なツール、リソース、専門知識を提供して力を与えていきます。