Muse Voice Transcribe、20人以上の話者やコードスイッチングにネイティブ対応

Muse Voice Transcribeは、Muse Sparkファミリーの自己回帰型マルチモーダルモデルです。1時間を超える長い音声入力と20人以上の話者にネイティブで対応し、後処理は必要ありません。Muse Voice Transcribeのデモは、マイクを使って話した内容をテキストに書き起こします。書き起こしはAIが生成したもので、不正確な場合があります。デモの音声は書き起こしの生成のために処理されますが、保存はされません。

Muse Voice Transcribeは、Artificial Analysisのストリーミング音声テキスト変換(streaming speech-to-text)と、公開されている話者ダイアライゼーション(diarization)のベンチマークで1位だとMetaは述べています(モデルの掲載と順位は2026年9月1日時点)。

対応言語と主な機能の概要

Meta Superintelligence Labsが開発した最初のリアルタイムの音声知覚(audio perception)モデルであるMuse Voice Transcribeは、ストリーミング音声認識(streaming ASR)、20人以上の話者に対応する話者ダイアライゼーション、およびエンドポインティング(endpointing)を提供します。Muse Voice Transcribeは70以上の言語で訓練されており、そのうち25言語は十分に検証されています。Muse Voice Transcribeは多言語対応で、シームレスなコードスイッチングに対応し、言語・キーワード・文脈のバイアス(biasing)により精度を高めます。

音声チャンク処理とトークンの仕組み

Muse Voice Transcribeは、Meta Superintelligence Labsが開発した最初のリアルタイムの音声知覚モデルです。Muse Sparkファミリーの自己回帰型マルチモーダルモデルであるMuse Voice Transcribeは、音声を80ms(12.5 Hz)のチャンク単位で処理し、各チャンクを1つのソフトトークンに変換します。各音声チャンクの時点で、モデルは次の音声チャンクを聞き続けるか、テキストトークンを出力するかを決定します。聞き続けると判断したときは<|next_audio|>特殊トークンを予測し、その<|next_audio|>を次の入力の実際の音声チャンクに置き換えます。なお、モデルの掲載と順位は2026年9月1日時点のものとされています。

音声ストリームが止まると、Muse Voice Transcribeにもう音声チャンクがないことを知らせるため、<|empty_audio|>特殊トークンを挿入します。モデルは<|empty_audio|>を見た後、<|next_audio|>トークンを出さずに残りのテキストトークンをすべて出力します。

adaptive delayで速度と精度を両立

Muse Voice Transcribeは、いつ聞くかをモデル自身が制御するため、単語を書き起こす前にどれだけの音声文脈を使うか（delayと呼びます）を決定します。delayには精度と遅延のトレードオフがあり、モデルが予測を待つほど書き起こしは正確になりますが、レイテンシは高くなります。Muse Voice Transcribeにはadaptive delayがあり、単語ごとの難しさに応じてdelayを動的に変えます。これは強化学習(RL)で実現され、単語誤り率(WER)の報酬(reward)とdelayの報酬を乗算で組み合わせます。adaptive delayにより、Muse Voice Transcribeは最終書き起こしまでの時間で測った速度と精度のトレードオフにおいて、パレートフロントを達成します。

Muse Voice Transcribeは、文の内でも文の間でも、任意のコードスイッチング(code-switching)にネイティブで対応しています。初期リリースでは、この検証済みの25言語を試すことが推奨されており、その他の言語にも対応しています。また、多言語に対応しており、シームレスなコードスイッチングに対応するとともに、言語・キーワード・文脈のバイアスによって精度を高めます。コードスイッチングは、バイリンガルの話者にとってとても一般的です。

話者ダイアライゼーションでは、話者が切り替わる可能性を示す<|start_of_turn|>トークンと、話者を区別する<|speaker_{A-Z}|>タグを導入します。<|start_of_turn|>は話者が切り替わるとすぐに予測され、話者タグの予測はチャンクの終わりまで遅らされます。同じ話者の音声が<|start_of_turn|>で区切られることもありますが、その場合も話者タグはすべての区間で同じになります。話者ダイアライゼーションのトークン列の例（簡単のため<|next_audio|>は省略）は、<|start_of_turn|>Hello, how are you doing?<|speaker_A|><|start_of_turn|> Did anything fun over the weekend?<|speaker_A|><|start_of_turn|> Hey I'm good!<|speaker_B|>です。エンドポインティングでは、発話の開始を示す<|speech_onset|>トークンと、ユーザーが話し終えたことを示す<|speech_endpoint|>トークンを導入します。エンドポインティングのトークン列の例は、<|speech_onset|>Hey Meta, what's the weather in Menlo Park?<|speech_endpoint|> [silence] <|speech_onset|>What should I wear today?<|speech_endpoint|>です。話者ダイアライゼーションとエンドポインティングの両タスクは、ストリーミング音声認識と一緒に訓練されます。ASRの報酬に加えて、それぞれのタスク用の報酬が追加されます。

利用できるサービスと音声ディクテーション

Muse Voice Transcribeは、現在Meta Model API、Meta AI for Mac、およびMuse Codeを通じて利用可能です。ストリーミング音声認識を土台としているため、特殊トークン(special token)を追加することで、他の音声知覚タスクも容易にサポートできます。

Meta AIとMuse Codeの音声ディクテーション(voice dictation)は、ワンクリックでMuse Voice Transcribeを使うようになりました。Meta AIとの作業や画面上の任意のウィンドウでの作業にも使え、任意のアプリケーションでも使用可能です。試すには'Fn'を押し続けます。