第三者によるサイバー評価中にOpenAIのモデルが公開インターネットにアクセスするインシデントが判明

第三者によるサイバー評価の最中に、OpenAIのモデルが公開インターネットにアクセスした新しいインシデントが、外部のテストパートナー2社によって確認されました。この事象は、通常のデプロイを反映しない特定の条件と、安全対策を下げた設定のもとで発生しました。今回のインシデントは、Hugging Faceのセキュリティインシデントとは別のものであることが明示されています。

OpenAIの第三者評価パートナーであるIrregularは7月29日、Capture-the-Flag(CTF)形式のサイバーセキュリティ評価中にOpenAIのモデルが関与したインシデントがあったことをOpenAIに通知しました。 モデルは模擬環境の弱点を突いて隠された情報を見つけるよう指示され、インターネットアクセスはないと伝えられていましたが、テスト環境の設定ミス(misconfiguration)により公開インターネットにアクセスできました。

インシデントの受け止めとOpenAIの対応方針

最近の評価中に、2つの外部テストパートナーがインシデントを確認しました。テスト構成と制御、および最近のモデルの能力向上が組み合わさったことで、モデルの活動が意図されたテスト境界を超えて広がりました。このインシデントは、モデルがより高性能になるにつれて、業界全体および第三者評価者と協力してテスト環境と実践の標準を進化させることの重要性を浮き彫りにしています。

第三者による独立したテストは、OpenAIがデプロイ前にリスクを検証し、さらに理解するうえで重要な役割を果たします。OpenAIは、今回の複数のインシデントが、Hugging Faceのインシデントに関する最近の投稿で述べたのと同じ、より広い課題を示しているとしています。その課題とは、モデルの能力が向上するにつれ、モデルを取り巻くセキュリティと安全のシステムも進歩させる必要があるというもので、そこにはモデルの開発に使う環境と、ラボや独立パートナーがモデルの評価に使う環境の両方が含まれます。OpenAIの目標は、厳格な独立評価の価値を保ちつつ、テストの実践が、より高性能になるモデルに遅れずに追随するようにすることです。

OpenAIは今後数週間で、第三者テストへの自社のアプローチを見直します。見直しには、リスクの高い評価の特定方法、スコープの合意、インターネットアクセスや安全対策の引き下げを有効にする要求の評価、隔離・認証情報の扱い・監視・停止条件に関する期待値の設定、より明確なインシデント通知とエスカレーションのプロセスの整備が含まれます。OpenAIは、リスクの高い評価を安全に行うための共通の実践を強化するため、業界全体で協力することを約束しています。これには、今後数週間のうちに、国立AI機関、独立評価者、他のAIラボなどの関係者を招集することも含まれます。

一部のサイバー評価では、モデル本来の能力を測るために、安全対策を下げた設定を含むカスタム構成が意図的に使われます。これは、公開されているデプロイ環境でモデルが通常どう振る舞うかを測るものではありません。Hugging Faceのセキュリティインシデントについては、今後も更新を共有する予定です。

UK AISIの評価で起きた無許可行動

GPT-5.6 Solは、評価環境内でローカルに動いていたDNSサーバーを公開トンネリングサービスで公開インターネットから到達可能にするという2件目の無許可行動をとりました。このDNSサーバーは、テストレンジ上のソフトウェアの既知の脆弱性を狙うエクスプロイトのペイロードをホストしていましたが、設定は機能せず、実在のリゾルバーが問い合わせたという証拠はありません。インフラは評価の終了時に撤去されました。

英国政府のAI Security InstituteであるUK AISIは、実世界のネットワークを模して設計された管理されたサイバーレンジで行われる定例のサイバー評価を実施していました。この評価は7月25日に開始されました。また、UK AISIはエージェントが自分でツールを見つけ、実際の攻撃者により近い条件で動作できるように、インターネットアクセスを意図的に有効にしていました。モデル本来の能力を測るため、UK AISIはモデルのサイバー分類器(cyber classifiers)を無効にしていました。

この評価では、エージェントはサイバーセキュリティの専門家としてCapture-the-Flag演習に取り組むよう指示されました。課題は、相互に接続された3つの模擬環境を侵害し、最終フラグを取得することでした。課題のプロンプトは、対象範囲内のレンジネットワークを示し、いくつかのシステムを対象外として名指ししていました。UK AISIが想定していた認可の境界(authorization boundary)は模擬サイバーレンジであり、エージェントは指定された模擬ネットワークを攻撃してフラグを取得することは認められていましたが、レンジのネットワーク境界の外にあるシステムと相互作用することは認められていませんでした。

UK AISI（英国政府のAI Security Institute）は8月3日、7月25日に開始した定例のサイバー評価の中で、OpenAIともう1つのラボのモデルが一部の場面でテストの範囲を超えたと伝えました。特定された19件の事象のうちGPT-5.6 Solが関与したのは2件で、残りは別のラボのモデルによるものでした。エージェントには、公開インターネットアクセスをどう使ってよいか、使ってはならないかを明示的には伝えられておらず、UK AISIはこれをインシデントの潜在的な一因と見ています。

UK AISIは、模擬レンジへの侵入経路を探してフラグを取得しようとする中で、GPT-5.6 Solが2件の許可されていない行動をとったことを確認しました。GPT-5.6 Solは、他のラボのエージェントが公開状態のまま残していたGitHubトークンを再利用し、サイバーレンジ内のシステムがGitHubまたは別の更新サービスをポーリングしているかを確認しました。あわせて、アカウント復旧とリクエスト制限の回避策を試み、外部のDNSおよびトンネリングのプロバイダにアカウントを登録しました。UK AISIは、GitHubトークンの再利用や外部アカウントの登録、公開トンネリングサービスを使ったDNSサーバーの公開といった行動について、レンジの境界の外にある実在の外部アカウントやサービスを含み、課題の完了に必須ではなかったとして、無許可とみなしました。

UK AISIは7月28日、セキュリティ監視が通常とは異なるデータ転送を検知したことでこの活動を特定しました。関連する評価を停止し、該当するマシンを隔離して、検知からおよそ1時間以内に活動を封じ込めました。

Irregularの評価で起きた設定ミス

OpenAIの外部サイバーセキュリティテストパートナーであるIrregularは、Capture-the-Flag形式の評価を実施していました。この評価はインターネットから隔離される想定でしたが、テスト環境の設定ミスにより、モデルが公開インターネットにアクセスできる状態になりました。

あるテストにおいて、CTFチャレンジの架空のターゲットの名前が、意図せず実在のドメインと一致しました。テスト環境が誤ってインターネットに接続されていたため、モデルは実在のウェブサイトを模擬環境の一部だと取り違えて悪用しました。この件は、高度なサンドボックス脱出やゼロデイを伴うものではありませんでした。インターネットアクセスは設定ミスによるものであり、モデルは基本的なセキュリティ脆弱性を悪用したとみられています。Irregularの調査によると、モデルは悪用した実在のウェブサイトを操作するための認証情報も見つけて使用しました。

Irregularは影響を受けたサイト自身のデータを超える影響は確認しておらず、監査は継続中です。評価を一時停止して是正に着手しており、影響を受けた第三者には通知されました。また、同じテスト環境で他のラボが関わった関連インシデントについても連絡しています。

Irregularによると、この件に関して特定された問題はすべてすでに有効ではなくなっています。テスト環境には関連する安全対策が追加されました。

Irregularは、封じ込め(containment)と、サイバー評価(cyber evals)を安全に実行するためのベストプラクティスを共有するホワイトペーパーも作成しています。