Metaは、Muse Wonder seriesとして、Muse WonderとMuse Wonder Fullを発表しました。Muse WonderとMuse Wonder Fullは、個人向けおよび業務向けのエージェント的タスクで最先端(state-of-the-art)の性能を示す、Metaで最も高性能なモデルだとされています。Muse Wonderは、個人向けおよび業務向けのエージェントの分野で先行するフロンティアモデルと位置づけられています。
提供状況と、モデルの位置づけ・今後の展開
Muse Wonderは、発表時点でMeta Model APIとMuse Codeから利用できます。Muse Wonder Fullは、発表時点でMuse Codeの購読者向けに利用できます。
Muse WonderとMuse Wonder Fullは、スケーリングの階段(scaling ladder)における次のステップであり、パーソナル超知能(personal superintelligence)に向けた飛躍だとMetaは位置づけています。 Muse WonderとMuse Wonder Fullは、ギガワット規模のPrometheusデータセンターで訓練されました。
Muse Wonderは近く、Museの体験を支える予定で、最初に購読者向けに展開されます。アーティファクト生成や、より高い知能を必要とする処理も支える予定です。将来的には、Muse Wonderを使って特化型モデル(specialized models)を開発し、Museを使うすべての人に提供する方針です。
今回のリリースは、Muse Sparkの発表時に示した予測可能で厳密なスケーリングのアプローチを土台に、事前学習(pretraining)と強化学習(reinforcement learning)の両面で積み上げられたものです。ギガワット規模のPrometheusデータセンターで訓練されたMuse WonderとMuse Wonder Fullは、Meta全体のチームの成果を結集し、仕事や日常生活の複雑なタスク向けに最先端の能力を提供するとされています。Metaは、自社製品を使う数十億の人々にパーソナル超知能を届けるための、もう一歩であるとしています。
ベンチマーク結果と4つの評価領域
Muse Wonder seriesは、個人向けおよび業務向けエージェント(professional agents)、メモリ(memory)、コーディング(coding)に関する主要ベンチマークで、最先端の結果を達成したとされています。全結果では、幅広い評価スイートにわたり、Muse WonderとMuse Wonder Fullが他のフロンティアモデル(frontier model)と比較されています。
実世界のタスクにおけるモデルの働きの中心となる4つの領域は、ドメイン専門性(domain expertise)、Active Memory、Active Focus、最先端のコーディング(frontier coding)です。 Muse WonderとMuse Wonder Fullは、賃貸契約書の理解から金融・健康情報の読み解きまで、仕事や日常生活で人々が直面する問題に専門知識を適用します。評価には、この能力を試す法律・金融・健康分野のタスクが含まれます。ドメイン専門性を測る評価の一例として、モデルに原資料(source documents)を扱わせ、詳細な指示に従って法務の成果物(legal work products)を作成させるHarvey’s Legal Agent Benchmark (LAB)が挙げられています。
個人向けおよび業務向けエージェントを役立つものにするうえで最も重要なステップの1つは信頼できる記憶であり、モデルには、重要なことを覚えておくことと、以前の情報が関係してくる場面を認識することが求められます。 Active Memoryとは、ユーザーに関する重要な文脈を会話をまたいで保持し、目の前のタスクに関係する詳細を能動的に取り出す能力を指します。その文脈を使ってタスクを完遂するには、持続的な努力も必要です。
Active Focusとは、Muse Wonderが困難な目標に向けて作業を続ける様子を指し、別のアプローチを試す、障害を乗り越える、新しい情報に適応する、といった行動を含みます。 Muse WonderはActive MemoryとActive Focusを組み合わせ、ユーザーにとって重要なことを把握し続け、ユーザーが達成したいことに向けて着実に作業を進めます。 Active Focusの過程では、必要なときには確認の質問をし、重要な行動を取る前に確認を入れます。
Muse Wonderの集中力(focus)はFocusBenchで、持続的な実行はSWE-Marathonで評価されます。SWE-Marathonは長期にわたるソフトウェアプロジェクトでの作業をテストします。コーディングはこれまでに述べた能力を組み合わせるものであり、ソフトウェア開発では、要件の把握、コードベース全体にわたる変更、テストと修正の繰り返しが必要になります。Muse WonderとMuse Wonder Fullは最先端のコーディングの性能を発揮し、小規模なアプリケーションから複雑なソフトウェアまでのプロジェクトを支援します。両モデルは、多様で長期にわたるタスクで訓練されており、コーディングの過程で進捗を維持しやすくしています。
未知のタスクにおける汎用性の検証
ベンチマークのスコアが似ている2つのモデルでも、一方がはるかに幅広い未知のタスク(unfamiliar tasks)をこなせるように見えることがよくあります。「benchmaxxing」という批判と「big model smell」という称賛はどちらもこの点を指しており、いくつかの領域の一般的なベンチマークでは十分に捉えられない能力の幅を意味しています。このミスマッチを定量化するため、テスト時計算量(test-time compute)を増やすときに、ポストトレーニング中に狙ったタスクでの性能が、未知のタスクでの性能とどう関係するかを調べました。
比較のプロットは Muse Spark 1.3 と Muse Wonder Full を対象とし、各点は異なる推論の強度(reasoning effort)での性能を表しています。横軸は、ポストトレーニング中に重点を置いたタスクを代表する複合スコア(in-distribution)で、縦軸は、ポストトレーニング中に狙わなかったタスク群の平均スコア(out-of-distribution)です。縦軸の平均スコアで見ると、両方のモデルとも、テスト時計算量を増やすにつれて同程度に向上します。
Muse Wonder Full は、in-distribution での性能を踏まえると、プロット上でも Muse Spark 1.3 の傾向から予測されるよりさらに高い性能を未知のタスクで示しています。この上方へのシフトは、Muse Wonder と Muse Wonder Full がより大きく強力なベースモデルの上に構築されているためです。より強いベースからは、ポストトレーニングの成果が未知のタスクにより効果的に引き継がれます。この汎用性は、パーソナルエージェントにとって特に重要です。パーソナルエージェントは、目標・ツール・制約の多様な組み合わせを扱う必要があり、その全てを訓練中に予想できるわけではないためです。
アラインメントと安全性への取り組み
全員にパーソナル超知能を届けるには、アラインメント(alignment)と安全性への大きな投資が必要であるとされています。Muse Wonderは同社のこれまでで最もアラインメントが取れたモデルであり、アラインメントはパーソナル超知能の構築方法の中核にあるとされています。
パーソナルエージェントはユーザーに代わって行動し、メッセージ、カレンダー、非公開の文書などの文脈を扱うことがあります。そのため、非公開情報の扱いに慎重で、悪用に抵抗できるモデルが求められます。
モデルがより高性能になるなかで、Metaの目標は、人々がその能力を安全かつ責任をもって活用できるよう支援することです。Muse Wonderファミリーは、敵対的な指示への頑健性と、非公開情報の慎重な扱いの両面で先頭に立つよう訓練されました。
Muse Wonderは、CBRN（化学・生物・放射性物質・核）およびサイバーの悪用に対して、これまでで最も強力なセーフガードを備えています。同時に、Meta Superintelligence Scaling Frameworkに従い、防御目的での最先端のサイバー能力へのアクセスは維持されます。追加の安全性評価を含む完全なレポートが、近日中に公開される予定です。同社は、Muse WonderとMuse Wonder Fullが、より多くの人に夢を追い、望む世界を築く力を与えることを期待しています。これはパーソナル超知能をすべての人に届けるための大きな技術的一歩であり、今後さらに多くが続くとしています。