Muse Spark 1.1の評価中に設定ミスが発生、実在するウェブサイトへの攻撃を確認

第三者のモデル評価者が、Metaの大規模言語モデルの前世代であるMuse Spark 1.1を評価している最中に、設定ミスが原因のサイバーセキュリティ上の問題を通知しました。この通知を受けて、Metaは事案とその影響を理解するための詳細な振り返り(retrospective)を完了しました。

Metaのサイバーセキュリティ評価の位置づけ

Metaは、モデルのリリースやデプロイの前に行う準備(preparedness)アプローチの一部として、モデルのサイバーセキュリティ能力の評価を実施しています。この広範な準備アプローチには、モデルのリリースやデプロイ前に行う社内外の複数層のテストが含まれます。Metaが公開している評価レポートには、サイバーセキュリティやモデルのアラインメント(model alignment)など幅広い分野で実施しているストレステストの詳細が記されています。AIモデルのサイバーセキュリティ能力をテストすることは、デプロイ前にモデルに何ができるかを理解するために不可欠です。

Metaのサイバーセキュリティ評価は、特定の脅威シナリオに対するテストでモデルの能力を測るよう設計されており、公開ベンチマークと内部ベンチマークに、独立した第三者(third-party)によるテストを組み合わせたものです。一部の評価は、モデルの根本的な能力を測定するため、本番環境で展開している標準のセーフガード(safeguards)なしで実施されます。

Irregularの評価で起きた設定ミスと攻撃

Metaは、リリース前モデルのサイバーセキュリティ評価をIrregularに委託していました。その一環として、通常のテストプロトコルに従い、リリース前バージョンのMuse Spark 1.1のテストを依頼しました。7月上旬、Irregularは、セーフガードを外したクローズドなテスト環境で、Muse Spark 1.1が敵対的なサイバーセキュリティタスクを完遂できるかを評価する演習を開始しました。

Irregularがテスト環境を構築した際、設定ミスによりモデルがオープンなインターネットにアクセスできる状態になりました。また、架空の演習の「ターゲット」には架空の名前を使うはずでしたが、Irregularは意図せず実在のウェブサイトの名前をターゲットとしてモデルに与えました。リリース前バージョンのMuse Spark 1.1は、実在のウェブサイトが意図されたターゲットだと信じて、そのウェブサイトのセキュリティ脆弱性を特定して悪用しました。モデルはそのウェブサイトから特定の情報にアクセスし、データベースに変更を加えました。

同じ時期に、Irregularは他の複数社のAIモデルも評価しており、それらも似た挙動を示しました。問題を特定したのち、サードパーティのIrregularは影響を受けた評価(evaluation)を無効化しました。AIモデルの評価を行う環境でインターネットを使う場合の適切なガードレールと調整の重要性が、今回の件で改めて示されました。なお、設定ミスが修正されたこと、および評価が実在のウェブサイト名を参照しないことは、Irregularが確認しています。

影響の封じ込めとMetaの調査結果

MetaはモデルへのアクセスをAPI経由で提供しており、評価はすべてIrregularのインフラ上で実行されました。そのため、Metaは、システムが悪用された第三者企業に関する情報を限られた範囲でしか持っておらず、その企業のデータがMetaのシステム上にないことを確実にするための措置を取っています。

Irregularのインフラ上で行われたMetaのモデル評価で生じた設定ミスの問題は封じ込められました。Irregularは影響を受けた評価を無効化してMetaに通知し、影響を受けた当事者にも通知されるようにしました。

Irregularが影響を受けた評価を無効化したのち、Metaは独自の独立した調査を開始しました。

セキュリティチームはテスト中のMuse Spark 1.1の活動記録を10,000件以上確認し、さらに詳しい分析も行いました。この評価以外にMuse Spark 1.1が第三者企業のシステムを悪用した事例は、セキュリティチームによって確認されませんでした。Muse Spark 1.1は、与えられた指示と遭遇した環境に基づき割り当てられたタスクの範囲内で動作しており、高度な攻撃的サイバー攻撃やサンドボックス脱出ではありませんでした。他に同様の事例が確認されなかったことは、今回の事案が孤立したものであることを証明しているとMetaは述べています。

セキュリティチームがテスト中のMuse Spark 1.1の活動記録10,000件超を確認した結果、この評価以外に第三者企業のシステムを悪用した事例は確認されませんでした。

業界の課題とMetaの今後の対応

モデルが高性能になるにつれ、脆弱性を見つけて悪用できる能力を示すモデルには、テスト中にそれに見合ってより強い封じ込めが必要になるという課題が、評価から浮かび上がっています。これは業界全体の課題であり、各ラボは、テスト中の封じ込めの改善、評価環境と本番環境のより明確な分離、そしてモデルの望ましくない挙動を強化せずに安全に評価する方法に関する継続的な研究などを通じて取り組んでいます。

Metaは今後、評価の開始前に、テスト環境の隔離(isolation)とシナリオレビューについて独立した検証要件(independent verification requirements)の導入を進めています。また、テストシナリオが実在の企業に言及しないことも確認します。より広い取り組みとして、Metaは評価と準備のインフラへの投資を続けています。モデルの能力が進歩するにつれ、Metaは自社のインフラ内でも、連携する第三者のパートナーのもとでも、評価環境と評価の実践をそれに歩調を合わせて更新する必要があります。

Metaは、セキュリティと評価の安全性に関する実践、モデルのアラインメント、および敵対的テストのシナリオでのモデルの振る舞いの改善を目指す業界全体の取り組みに貢献しています。また、Metaは今後も、パートナーとともに、評価を安全に実施する方法を強化していく予定です。