モデルの能力向上によって、サイバーセキュリティは急速に変化しています。モデルはサイバー防御を強化することも、前例のない速度と規模で攻撃を可能にすることもできます。高度なサイバー能力を持つモデルは、攻撃者より先に防御側が脆弱性を特定して対処できるよう支援すべきだ、という考えを、OpenAIは示しています。

OpenAIは2023年12月に、能力の進歩を特定し、そうした能力が現れたときに会社として何をするかを計画するための指針であるPreparedness Frameworkを初めて公表しました。GPT-5.6-Solを含む従来のモデルは、フロンティアのサイバー能力について評価され、CriticalではなくHighの閾値と判定されました。Preparedness Frameworkでは、人間の介入なしに、堅牢化された実世界の多くの重要システムで、あらゆる深刻度の機能するゼロデイ脆弱性攻撃を特定・開発できる場合、またはハイレベルな目標だけを与えられて、堅牢化された標的に対するサイバー攻撃の新規戦略をエンドツーエンドで考案・実行できる場合に、モデルはCriticalのサイバーセキュリティ閾値に達するとされています。このフレームワークは、モデルが生物、化学、サイバーセキュリティ、AIの自己改善の能力でこの水準に近づくよりかなり前に公表されたものです。

このフレームワークにおいて、モデルがCriticalのサイバーセキュリティ閾値に達すると判定される条件が定められています。

開発中のモデルAstraについて、発表までの数日間の社内評価では、エージェント型コーディングとサイバーセキュリティで大きな進歩が示されました。OpenAIは発表の前夜に、これらの結果と専門家の評価から、Preparedness Frameworkのもとでは、現時点でCriticalのサイバー能力を排除できないと結論づけました。評価は引き続き進めており、今回の結果は予備的なものです。Astraは今後登場予定のモデルであり、Hugging Faceへの攻撃には関与していませんでした。政府、safety institutes、市民社会と協力して、Astraのようなモデルとそれに続くモデルのフロンティア能力が、全人類の利益のために責任をもって広く展開されるよう取り組むことを約束しています。

Astraのトレーニングと評価を含むすべてのエージェント的アプリケーションでは、リスクの高い行動とミスアラインメントを対象とする包括的な監視を実施しています。モニターはモデルのChain of Thoughtを評価し、セキュリティ対応を作動させて、リスクの高い活動を確認し中断します。より高い能力を持つモデルと関連する活動には、隔離されたテスト環境、ネットワークとツールへのアクセス制限、モデルの重みの保護と暗号化の強化、追加の監視・検知機能、サンドボックスでの実行などを含む、より厳しいセキュリティ管理を導入しています。強化されたセキュリティ管理の要件をまだ満たしていない、Astraに関わる社内の活動は一時停止しています。また、リスクの高い評価やワークロードを安全に実行できるよう、外部のテストパートナーに推奨するセキュリティ管理を提供する予定です。