Muse Realtime VoiceとMuse Realtime Avatarは、知能・音声・エンボディメントをつなぐ単一のストリーミングシステムを構成します。Muse Realtime Avatarは、Muse Realtime Voiceを表現豊かでインタラクティブなアバターに変える、最先端のエンボディメント技術(embodiment technology)として発表されました。参照メディアを条件として、任意のキャラクターをライブ会話に参加させます。写真のポートレートは繊細な表情で応答し、全身のイラストは話しながら身振りや姿勢の変化を見せます。動物や身近な物も、その特徴を失わずに表現豊かになります。フレームごとに、アバターの外見と仕草が会話のターンをまたいでも一貫して保たれます。

Muse Realtime Voiceは会話の知能を提供し、話される内容と話し方の両方を運ぶ音声トークン(VQs)のストリームを生成します。音声デコーダ(audio decoder)がそのトークンを音声に変換し、Muse Realtime Avatarは同じストリームを入力として、対応する視覚的なパフォーマンスを生成します。Muse Realtime VoiceとMuse Realtime Avatarが音声トークンのストリームを共有することで、音声、口の動き、表情の同期が保たれます。

ライブ配信の課題とモデルの構成

ライブストリーミングでは、リアルタイムの対話に足る速さでの動画生成と、誤差を蓄積させずに会話全体を通して視覚的な一貫性を保つことの2つの問題を同時に解く必要があります。Muse Realtime Avatarは、音声トークンのストリーム、参照メディア、および直近の動画潜在表現(video latents)のローリングウィンドウを条件とする、音声駆動のDiffusion Transformerです。

Muse Realtime Avatarは、動画生成を短い因果的チャンク(causal chunk)単位で行います。各チャンクの完了時に、その最新の生成済み潜在表現が次のチャンクのモーションコンテキストになり、アバターの外見と仕草を引き継ぎつつ計算量を一定の範囲に抑えるため、会話が続く限り生成を続けられます。

因果的な生徒モデルへの蒸留の仕組み

Muse Realtime Avatarでは、高品質な双方向の教師モデル(bidirectional teacher)から出発し、self-forcingとdistribution matching distillationによって、固定長のKVキャッシュを持つ因果的な生徒モデル(causal student)を作ります。Self-forcingにより、生徒モデルは推論時と同じ条件、つまり自分自身が生成したコンテキストで学習でき、小さな誤差が時間とともに蓄積して起きるドリフト(drift)に抵抗することを学びます。

教師モデルは40ステップの拡散で3通りのclassifier-free guidance（CFG）を用いるため、各ステップに3回のモデル評価が必要となり、チャンクあたり計120回のモデル評価を要しますが、入念に調整されたレシピにより、この拡散過程とCFGの効果を、ガイダンスなしの2ステップの生徒モデルへ同時に蒸留します。これにより生徒モデルは、教師モデルが120回のガイダンス付き評価で段階的に洗練するものを、ガイダンスなしの2回の評価で再現でき、60倍の削減となる一方、教師モデルの品質を近く保ちます。

他社アバターとの比較評価

Muse Realtime Avatarのライブ会話における性能を評価するため、代表的な商用アバターシステムの上位2つであるRunway CharactersとHeyGen LiveAvatarが比較対象として用いられました。この比較では、各製品が備えるネイティブなライブ通話体験を使用しました。評価者は、アバターの同一性をそろえた各システムと2〜3分の会話を行いました。そのうえで、視覚品質、同期、キャラクターの一貫性、仕草などの観点で体験を比較しました。総合的な選好では、評価者はMuse Realtime Avatarをより頻繁に選びました。

大規模提供のための推論基盤と性能

Muse Realtime Avatarは、ライブ会話の進行に合わせてアバターの動画を継続的に生成します。Metaの規模(Meta scale)でこの体験を提供するには、インタラクティブなレイテンシーと高い同時実行性(concurrency)の両方が必要になります。Muse Realtime Avatarは、デコード中にチャンク間でコンテキストを賢く再利用できる、メモリを考慮した位置エンコーディング(memory aware positional encodings)を備えた永続的なKVキャッシュを備えています。

Metaの規模でこの体験を提供するため、Metaはリアルタイム AI 推論スタックをゼロから再設計し、リアルタイム動画推論とサービングに高度に最適化した自社製のカスタムエンジンと組み合わせました。キャッシュを考慮したルーティング(cache-aware routing)とレイテンシーを考慮した動的バッチ処理(latency-aware dynamic batching)により、同時セッションを効率的に分散します。また、4ビットの量子化を考慮した学習(quantization-aware training)によって推論コストを下げつつ品質を保ち、融合カーネル(fused kernels)とNVIDIA CUDA Graphのキャプチャによりメモリトラフィックとスケジューリングのオーバーヘッドを減らしています。

Metaは、モデルのフォワードパスのコストを最小化するため、複数のモデル最適化についてNVIDIAと協力しました。基盤インフラを含むシステム全体が、スムーズなユーザー体験のためにエンドツーエンドで最適化されています。Muse Realtime Avatarは448x768の縦型映像を毎秒25フレームでストリーミングし、ユーザーの発話終了から音声・映像が同期した応答の最初のバイトを受け取るまでの遅延は約870 msです。GB200上の単一セッションでは、各生成ステップが8フレーム(再生時間320 ms分)を20 msで生成し、フレームあたりの実効モデル時間は2.5 msになります。上述の最適化と音声と動画にわたるスマートなオーケストレーションを組み合わせることで、サービング容量が2ステップのBF16ベースラインと比べて8倍に増え、単一のGB200で動画生成のリアルタイムセッションを12件同時に処理できます。

電子透かしなど安全面の対応と利用上の注意

Metaは、悪用のリスクを減らし人々を守るため、Muse Realtime Avatarの体験全体に厳格な安全要件を適用しています。Muse Realtime Avatarは、生成メディアを追跡可能にするためにMeta Video Sealを使用し、生成された動画全体に耐久性のある不可視の電子透かし(watermark)を埋め込みます。この処理はリアルタイム体験にレイテンシーを加えることはありません。Metaは、エンボディドAI(embodied AI)の進化に合わせて、悪用防止のための厳格な安全要件や、Meta Video Sealによる電子透かしなどの保護を今後も強化していくとしています。

Metaのブログ記事で紹介されている例はすべてモデルの能力を示すものであり、そのすべてがMuseアプリで利用できるアバターを反映しているわけではありません。Museは18歳以上のユーザーを対象としています。