Muse Spark 1.2は、Muse Spark 1.1のコーディング重視のアップデートであり、コード生成、複雑なデバッグ、コードベース理解、エンドツーエンドの開発者ワークフローが改善されています。現在はMuse CodeとMeta Model APIで利用でき、グローバルなアクセスが拡大されています。
Muse Code(ベータ版)とMuse Spark 1.2のリリースは、フロンティアに向けた次のステップであり、より大規模で大幅に高性能なモデルが今後登場する予定です。使用例として、ユーザーが住宅のフライスルー動画をmp4ファイルとしてターミナルに入力すると、Muse Codeが動画を解釈し、視覚的に豊かなバケーションホームのマーケティング兼予約ページを生成します。
Muse Codeの概要とインストール方法
Muse Code(ベータ版)は、最新モデルのMuse Spark 1.2を搭載したターミナル向けコーディングエージェントです。大規模リポジトリにまたがる複雑なソフトウェアエンジニアリングタスクである、変更の計画、コードの作成、および結果の検証を扱います。仕組みとしては、シンプルなエージェントループと、メインエージェントの能力を高めるための一連の非同期バックグラウンドエージェントで動作します。Muse CodeをmacOSまたはLinuxにインストールするコマンドは `curl -fsSL https://dev.meta.ai/install.sh | bash` です。
サブエージェント、イベントログ、デフォルトスキル
Muse Codeは、タスクごとに複数の永続的なサブエージェントを調整でき、難しい問題をより速く、より正確に、そしてより少ない介入で解決できます。非同期バックグラウンドエージェントは、個々のタスクのために生成されるのではなく、各セッションの全期間にわたって稼働し続けます。これは、重複する情報収集を避けるのに役立ちます。バックグラウンドエージェントは次のステップを実行し、メインエージェントにいつ報告するかを自分で選びます。また、永続的に稼働するため、難しい複数ステップのタスクにおいてレイテンシーと誘導(steering)の必要性が減少します。
Muse Codeはローカルのイベントログを使用し、すべてのモデル呼び出し、ツール実行、承認、および編集がそこに追記されます。このローカルイベントログは唯一の信頼できる情報源であり、ランタイムを正確に再現でき、再起動しても安全なものにします。クラッシュ後、エージェントは停止した地点から正確に再開できます。これにより、Muse Codeは長時間実行されるタスクを、障害に妨げられることなく引き受けることが可能です。
Muse Codeにはいくつかのデフォルトスキルが同梱されています。`/plan` は、タスクを承認が必要な計画(approval-gated plan)に変換します。`/grill` は、その計画が通用するまでストレステストを行います。`/goal` は、指定された目的の達成に向けて作業します。
Muse Spark 1.2の訓練方法
Muse Spark 1.2では、コーディングタスクに対する訓練計算量の規模を大幅に拡大し、あわせて訓練環境の多様性も広げました。汎用エージェントなど他の主要分野での強みも維持しています。
リポジトリ全体の生成、大規模なエンドツーエンドのプロジェクト、auto-researchなどを含む長期(long-horizon)のコーディングタスクで、Muse Spark 1.2は広範に訓練されました。作業の順序づけに計画(planning)、方向性の維持にゴール条件づけ(goal conditioning)、進捗を保つために必要な知識の保持にコンテキスト圧縮(context compaction)を活用します。
Muse Spark 1.2は、ターミナル向けコーディングエージェントであるMuse Codeと組み合わせたときに最高の性能とコーディングの使いやすさを発揮するよう、Muse Codeと共同訓練(co-train)されました。この共同訓練には、棄却サンプリングされたハーネスの軌跡、およびゴール・圧縮・サブエージェントのためのレシピ最適化が含まれ、あわせてMuse Codeのツールセットを統合してハーネス互換性を最大化しました。
Muse Spark 1.2の訓練には、Muse Spark 1.1を使用した自己改善ループ(self-improvement loop)が活用されました。まず、Muse Spark 1.1を使って、難度の高いコーディング環境と指示追従テンプレートを生成しました。次に、Muse Spark 1.1が自ら生成した環境とテンプレートの要件を候補解がどの程度満たしているかを採点し、Muse Spark 1.2向けのスケーラブルな訓練データセットを作り出しました。この自己改善ループは、Muse Spark 1.2が複雑な指示を前世代のモデルよりも正確に追従するのに役立ちました。
GPUカーネル最適化のケーススタディ
カーネル最適化のケーススタディでは、1,000回以上のツール呼び出し（最長24時間）にわたり、GPUカーネルを反復的に最適化するモデルの能力をテストしました。Muse Codeのエージェント型コーディング環境を活用し、モデルは提供されたベースライン実装を基準にして、カーネルを書き、コンパイルし、プロファイルし、性能を段階的に改善します。NVIDIA Hopper GPU向けのKDAカーネルとMLAカーネルで評価したところ、エージェントは提供されたベースライン実装に対して大きな改善を達成し続けています。
KDAカーネルの最適化テストで基準とした提供されたベースライン実装は、KDAのFLA Triton実装です。モデルは、FLAなどの第三者製カーネルライブラリを直接importすることを禁じられ、既存の実装をラップするのではなく、カーネル最適化の専門知識を適用してアルゴリズムをTritonで実装する必要がありました。Muse Spark 1.2は、チャンク並列の準備カーネルと逐次的なチャンク間スキャンを組み合わせ、標準的なカーネル融合とタイリングに、チャンク中点でゲート付き累積減衰を再中心化するなどのKDA固有の最適化を併用しました。
Metaは、新しいハーネス(harness)機能やより強力なモデルなどを今後提供する予定としています。