Mistralは、50以上の言語でのリアルタイムかつ複数ステップの会話向けに設計された、音声エージェント(voice agent)SDKと音声モデルを導入するVoxtral 3を発表しました。Voxtral 3は、正確な文字起こし(transcription)、感情への適応性を持つ自然な音声合成、ワークフロー自動化のための深いツール統合を組み合わせた、音声テキスト変換(speech-to-text)モデルと音声合成(text-to-speech)モデルからなる新しいファミリーです。

Voxtral 3は、50以上の言語でのリアルタイムの複数ステップの会話向けに設計された音声エージェントSDKと音声モデルを備えています。信頼できる音声エージェントには、(1)言語・アクセント・話者・割り込みをまたいで正確に聞き取る、(2)特定の文脈でユーザーの意図を深く推論する、(3)感情と表現を伴って自然に話す、(4)接続されたシステムを通じて複数ステップの行動を取る、の4つを同時に非常にうまくこなすことが必要とされます。Mistralは、Voxtral 3がコンタクトセンター、バーチャルアシスタント、ハンズフリーのコパイロット向けに低遅延で人間らしいやり取りを提供すると説明しています。

音声エージェントの課題とSDK

音声の文字起こしと音声生成は大きく進歩しましたが、聞き、推論し、やり取りし、複雑なワークフローを処理できるエンドツーエンドの音声エージェントの構築は依然として困難です。音声エージェントに必要な4つの要素である、正確に聞くこと、深く推論すること、感情と表現を伴って自然に話すこと、そして接続されたシステムを通じて複数ステップで行動することを、リアルタイムで確実に連携させることは依然として課題となっています。

この課題に対処するため、音声テキスト変換および音声合成モデルの新しいファミリーであるVoxtral 3と、聞き取り、思考、ツール呼び出し、発話を単一のリアルタイムストリーミングパイプラインにまとめるVoice Agent SDKが導入されます。Voxtral 3は、コンタクトセンターのエージェント、サービスデスク、バーチャルアシスタント、ハンズフリーのコパイロットなど、自然な会話体験を作るために作られています。Voxtralで作ったエージェントは、微妙な意図を解釈し、高度な依頼を推論し、接続されたシステムをまたいで複数ステップの行動を実行できます。

文字起こし・デプロイ・Pro Voice

Voxtral 3の音声テキスト変換モデルである Voxtral Small Transcribe 3 は、50以上の言語で正確な多言語文字起こしを行い、Mistralによると、多言語文字起こしで最先端(state-of-the-art)のモデルです。Voxtral Small Transcribe 3 は、誰が何を言ったかを識別する話者分離(diarization)に対応しています。また、キーフレーズを使って精度を高めるコンテキストバイアス(context biasing)を備えています。さらに、話者が話し終えたことを検出するend-of-turn detectionを行うので、エージェントは遅延なく応答できます。

Voxtral 3ファミリーは、他のMistralモデルと同様にソブリンなデプロイを前提に設計されています。MistralのEUホスト型APIを通じて、または自前のインフラへのセルフデプロイとして、10月20日から利用できます。組織は、音声をどこで処理するか、データをどう扱うか、会話を保持するかどうかを制御できます。機微な会話を自分の環境内にとどめ、音声を保持するかどうかを制御するために、MistralのEUホスト型APIを使うか、自前のインフラにデプロイしてVoxtral 3を使用することも可能です。

Voxtral 3の特長の一つは、Pro Voiceによる、際立って正確な音声の適応(voice adaptation)です。Voxtralの Pro Voice は、基本的なボイスクローニングでは足りないプロ向けの用途のための音声適応であり、わずか30分の音声を使って、話者の特徴的な個性、感情の幅、話し方を言語をまたいで再現できます。

TTSと文字起こしモデルの詳細

Voxtral 3の音声合成モデルである Voxtral Mini TTS 3 は、会話の文脈に応じて感情・ペース・強調を調整する新しい声を備え、35以上の言語と50以上の方言に対応しています。新しいVoice Agent SDKは、聞く・推論する・ツール呼び出し(tool calling)・話すをリアルタイムの体験として組み合わせ、エージェントは電話やウェブでのライブ会話中に情報の取得、業務システムとのやり取り、タスクの完了ができます。Voxtral Mini TTS 3.0はバッチとリアルタイムで利用でき、35以上の言語と50以上の方言において、state-of-the-artの表現力(expressiveness)と指示追従(instruction following)を達成しています。

Voxtral Transcribe 3 は文字起こし、話者分離、コンテキストバイアスの各機能で大きな節目となるモデルです。対応する言語は50に拡大されており、EUの24公用語と、リソースの少ない多くのアジア言語・インド系言語が含まれます。Smallバージョンは、英語・フランス語・スペイン語を含め、話者分離と多言語文字起こしでstate-of-the-artの結果を達成し、Whisper、Scribe v2、Gemini 3.5 Transcribeを上回ります。また、Mini版は4Bパラメータで、$0.0035/minの価格で高速かつ正確な文字起こしが可能です。SmallとMiniの両モデルはコンテキストバイアスに対応しており、重要な用語や自由形式のテキストを与えて専門用語の再現率(recall)を改善できるため、ファインチューニングなしで専門分野の語彙を持つ本番環境でも使用できます。Voxtral Realtime Transcribe 3 は、エージェント的なユースケース向けに作られたリアルタイムの文字起こしモデル(transcription model)で、35を超える言語で、500ms未満のレイテンシで高品質な文字起こしを実現し、話者分離とコンテキストバイアスにも対応しています。

FLEURS 35のリアルタイム文字起こしの比較では、Voxtral Mini Transcribe 3はオフラインのベースラインであり、比較対象の残りのモデルはリアルタイムです。評価指標であるマクロ平均WERは、FLEURSベンチマークの35言語におけるものです。日本語、韓国語、中国語にはCERが用いられ、それ以外の言語にはWERが用いられます。ターン終了(end-of-turn)の予測はネイティブで対応されており、音響情報と意味情報の両方を取り入れてユーザーが話し終えたタイミングを正確に予測します。これにより、低レイテンシの音声エージェントアプリケーションが可能になり、ユーザーが途中で遮られる誤った打ち切りの率を最小限に抑えます。評価対象の言語は、AR、BN、BG、CA、CS、NL、EN、ET、FI、FR、DE、EL、GU、HI、ID、IT、JA、KN、KO、LV、MK、MS、ML、MR、NO、FA、PL、PT、RO、RU、SK、ES、FIL、TE、TRです。

Voxtral Speech 3 は1M文字あたり$13で、OpenAI TTS-1、Deepgram、ElevenLabs Flash、Gemini Flashの同等モデルよりも運用コストが低いです。この音声モデルは文脈の意味を暗黙のうちによりよく解釈し、多様な感情と言語にわたって自然な音声(natural speech)を生成します。新機能・改善機能には、30分以上のサンプル音声からのボイスクローン(voice cloning)、カスタムプロンプトの指示追従(IF)、コンテキストTTS(contextual TTS)、語彙ライブラリ(vocabulary library)があり、いずれも本番運用での音声の信頼性という目標に資します。明示的な指示追従(Explicit IF)の変数には`emotion`、`pacing`、`emphasis`があります。自然に聞こえる音声はすべて感情に依存しており、感情が韻律、リズム、ペース、強調、移り変わりを決めます。Voxtral TTS はプロンプトのテキストの文脈をネイティブに解釈して感情と声のスタイルを決めるため、追加の指示や音声プロンプトを必要とせず、もともと自然な音声に優れています。

Voxtral TTSは35を超える言語と地域方言をサポートしており、35の言語と50を超える方言において音声が現地らしく聞こえるとされています。その多言語評価は、発音、フォーマル/インフォーマルの文体(register)、綴り、冗長さ(verbosity)、ロケール慣習（時刻、日付、気温、住所、通貨）における方言の違いに従っています。Voxtral 3のVoice Presetsは18言語で利用可能であり、対象となるのはアラビア語(Emirati、Modern Standard)、ブラジル(ポルトガル語)、カタルーニャ語、中国語(Mandarin)、オランダ語、英語(American、British)、フランス語(France)、ドイツ語、ギリシャ語、ヒンディー語、イタリア語、韓国語、ノルウェー語、ロシア語、スペイン語(Spain)、ベトナム語です。

SDKのパイプライン構成と提供形態・料金

Voxtral 3は、LiveKit上に構築されたVoice Agent SDKを導入します。このSDKは、音声入力、推論、音声出力を1本のストリーミングパイプラインとして実行します。各段階は前の段階を待たないため、各ターンは1秒未満で完了し、通話者が割り込むとエージェントは話すのをやめます。Voice Agent SDKのパイプラインでは、Voxtral Mini Transcribe Realtime 3が通話者の話し終わりを聞き取って検出し、Mistral Smallのような汎用モデルが推論とツール呼び出しを行い、Voxtral Speech 3がそれまでの会話のトーンで返答します。Voice Presetsは18言語で利用できます。

通話中、音声エージェントは、function calling、ウェブ検索、自社システムに対する検索(retrieval)を使って、通話者の本人確認、請求の確認、予約の手配ができます。SIPで通話の受信と発信を行い、WebRTCでブラウザやアプリ上で動作し、すでに使っているテレフォニー、IVR、コンタクトセンターのソフトウェアに接続します。各段階は別々のモデルであるため、エージェントを書き直さずにLLM、音声、言語を変更できます。スタック全体は、欧州のMistral API上でも、自社のインフラ上でも実行可能です。Voxtral 3は、欧州、米国、グローバルのエンドポイントでホストされるMistral APIを通じて、現在利用可能です。また、音声エージェント、音声の文字起こし、音声生成、ボイスクローンは、Studioのプレイグラウンドで試すことができます。

音声エージェント用のVoice agent APIの価格は、推論にMistral Small 4を使う場合は0.04$/minであり、それ以外の推論モデルを使う場合は0.08$/minです。

スタック全体をオンプレミスまたはプライベートクラウドで実行したい場合は、Mistralのチームに問い合わせるよう案内されています。

Voxtral 3シリーズの料金は、Voxtral Mini Transcribe 3(batch)が$0.0035/min、Voxtral Mini Transcribe Realtime 3が$0.008/min、Voxtral Small Transcribe 3が$0.0040/minであり、Voxtral Speech 3(batchとrealtime、同じAPI)は$13/1M charsです。Voxtral Small Transcribe 3は、最高精度の音声文字起こしモデルとして紹介されている新モデルです。Voxtral Small Transcribe 3は、多言語文字起こしと話者分離において最先端の性能を持ち、50を超える言語とコンテキストバイアスに対応しています。新モデルであるVoxtral Mini Transcribe 3は、効率的で低レイテンシの音声文字起こしモデルです。Voxtral Mini Transcribe 3は、50を超える言語において、多言語文字起こし、話者分離、およびコンテキストバイアスに対応しています。エージェント用途向けに作られたリアルタイム文字起こしモデルであるVoxtral Mini Transcribe Realtime 3は、40以上の言語において500ms未満のレイテンシで高品質な文字起こしを行います。Voxtral Speech 3は、35以上の言語と50以上の方言にわたって、最先端の表現力と指示追従を持ちます。

元記事の表
モデル価格
Voxtral Mini Transcribe 3 (batch)$0.0035/min
Voxtral Mini Transcribe Realtime 3$0.008/min
Voxtral Small Transcribe 3$0.0040/min
Voxtral Speech 3 (batch and realtime, same API)$13/1M chars
Voice agent API with Mistral Small 4 for reasoning0.04$/min
Voice agent API with any other reasoning model0.08$/min

元記事の表を転載しています(見出しは日本語にしています。値は原文のままです)。出典: 元記事