OpenAIは、同社のモデルから保護された推論(protected reasoning)を抽出するよう設計された組織的なキャンペーンを特定して阻止しました。観測された最も早い活動は7月の第1週でした。この活動は敵対的蒸留(adversarial distillation)と整合しており、あるモデルの出力や推論を体系的かつ無許可で使い、別のモデルの訓練・再現・改良に役立てることを指します。保護された推論とは、モデルがタスクを処理するための内部記録であり、これを抽出すると最終回答では伏せられている情報が明らかになったり、他者がモデルの能力を再現する助けになったりしうると、OpenAIは説明しています。
運用者の手口と業界全体の課題
運用者は、OpenAIの暗号化を破ったり、データベースを侵害したり、保存されたユーザーの会話に直接アクセスしたりはしていません。代わりにモデルとのやり取りを操作し、保護された推論が依頼者に見える形で再現されるようにしました。この操作は協調的かつ大規模に行われ、利用規約に違反していました。この手口は、OpenAIのモデルに固有の脆弱性ではありません。このリスクはOpenAIに固有のものではなく、似た手法は他の高度なAIシステムにも影響しうるため、業界全体での連携が必要なセキュリティ上の課題(security challenge)だとされています。OpenAIは、敵対的蒸留に対する集団的な防御を強化するため、Frontier Model Forumを通じてこの件の情報を業界パートナーと共有しました。
OpenAIは公表前に、範囲と影響の調査、独自の緩和策の展開、研究者や業界パートナーへの共有とフィードバックの受け取りを行い、この種の攻撃への防御が整っているようにしました。追加の緩和策と調査は継続中です。
運用者は新しい方法で保護された推論の抽出を試みており、その一つは、ある会話から暗号化された推論(encrypted reasoning)をコピーし、別の会話のモデルにその非公開の推論(hidden reasoning)の内容を復号して書き起こすよう求める方法でした。また、OpenAIは調査を行い、独立したセキュリティ研究者が特定した攻撃経路が実在することを確認しました。
独立したセキュリティ研究者が、責任ある開示(responsible disclosure)を通じて、関連するモデル間(cross-model)および会話圧縮(conversation-compaction)の脆弱性をOpenAIに知らせました。この研究は、より広い攻撃の類型の理解と緩和策の加速に役立ちました。
活動の経緯と規模、帰属
活動は7月1日に始まり、当初は少量でした。その後、7月24日と25日に大量のスパイクが観測され、4,000人超のユーザーによる関連する抽出パターンを用いた16,000件のリクエストが発生しました。さらに調査したところ、15,000人超のユーザーからなるクラスターにわたる関連するプロンプトパターンの活動が特定され、OpenAIは7月28日までにこれを完全に阻止しました。
活動は時間とともに変化しました。このことは、敵対的蒸留がより広いセキュリティ上の課題であり、層状で適応的な防御を必要とすることを裏づけています。観測された期間中の運用者がすべて単一の主体に由来するかは不明ですが、OpenAIは、活動の中核クラスターを、Kimiの開発元であるMoonshot AIに関係する個人によるものと帰属させています。
敵対的蒸留の安全上のリスクと情報共有
敵対的蒸留には安全上および国家安全保障上のリスクがあります。抽出された推論は、元のモデルのユーザー向け出力に適用された安全策を保たないまま別のモデルの訓練に使われうるためです。また大規模に（at scale）行われると、同等の安全面の投資なしに高度な能力の移転を加速することがありますが、モデルがデュアルユース領域の能力を得るにつれて、こうした安全上・国家安全保障上の懸念は高まります。持ち運び可能、または再送・再利用できる(replayable)推論の成果物(reasoning artifacts)を支えるシステムは、関連するリスクに直面する可能性があります。
OpenAIは、他のフロンティア開発者や公的機関のパートナーが同様の活動を探し、自らの防御を強化できるように、関連する調査結果をFrontier Model Forumと適切な政府の情報共有チャネルで共有しました。今回把握したことを今共有することで、エコシステム全体が防御を強化する助けになると考えています。
アカウント措置と保護強化の対応
OpenAIは、今回の敵対的蒸留キャンペーンに対し、アカウントへの措置(account enforcement)、技術的な制御、パートナーとの連携を組み合わせて対処しました。具体的には、不正なアカウントを停止または制限し、サインアップとインフラの制御を強化し、関連するネットワークへの監視を拡大しました。また、関連する活動がサードパーティのサービスを経由した場合には、経由先のサービスのプロバイダーと協力して、関わるアカウントを特定し、遮断しました。
さらに、ユーザー、ワークスペース、組織、モデルファミリーをまたいで、非公開の推論に対する保護を強化しました。この保護強化の一環として、他のユーザーの暗号化された推論をすでに所持している者が、それを再送して内容を復元できてしまう経路を塞ぎました。あわせて、推論が露出しうるストリーミング出力を検知して保留するチェックを追加しました。
OpenAIは、フロンティアモデルが向上し、攻撃者がその能力を真似るより安価な方法を探すにつれて、敵対的蒸留の試みはより巧妙になると見ています。防御には、層状の制御と継続的な適応が必要であるとしています。
残る課題と今後の重点分野
OpenAIによれば、この取り組みは完了していません。パートナーがホストするデプロイメントにも自社提供サービスと同じ保護が必要であり、ツール出力を使った攻撃(tool-output attacks)には通常の可視テキスト以外も調べる保護が必要です。
OpenAIは、ツール防御、分類器(classifier)の対象範囲、モデルの拒否(model refusals)の改善を続け、関連する制御をクラウドパートナー全体に広げています。今後の対応は、抽出に対するより強い技術的保護、協調的なキャンペーンへのより良い検出と措置、業界と政府にわたるより深い脅威情報の共有という3つの分野に引き続き重点を置きます。