Googleは、インテリジェントな音声対話向けに設計された、同社として最も精度の高い音声文字起こし(speech-to-text)モデルであるGemini 3.5 Transcribeを発表しました。Gemini 3.5 Transcribeは、背景ノイズ、複雑な専門用語、言いよどみ(disfluency)の除去に苦労する従来の音声認識モデルとは異なり、生の音声を直接、正確で整った書式つきのテキストに変換します。また、ユーザーの自然な話し方を捉えて意図をよりよく理解し、カスタム語彙(custom vocabulary)を認識するよう設計されており、音声でタスクを実行できます。

Gemini 3.5 Transcribeのスマート文字起こし(Smart transcription)は、「let’s meet Tuesday—no, Wednesday」のような言い直しをシームレスに処理し、フィラー(filler words)である「ums」や「ahs」を取り除き、テキストを自動で整形します。さらに、関数呼び出し(function calls)を通じて、画像生成やファイル分析などの複雑なタスクを他のGeminiモデルに委任することも可能です。

関数呼び出しの機能は、現在macOS版Geminiアプリで利用できます。

2つのAPIと話者識別の対応範囲

録音済み音声の処理(Pre-recorded audio processing)には、Interactions APIで`gemini-3.5-transcribe`を使用します。このモデルは、録音音声、会議、通話ログなどを、話者の識別(speaker attribution)と単語単位のタイムスタンプ(word-level timestamps)つきで文字起こしします。複数話者識別(Multi-speaker identification)において、録音済み音声では最大3人の話者まで、タイムスタンプつきで発話を正確に話者に割り当てますが、3人を超える話者への対応は実験的です。

Gemini 3.5 Transcribeは、音声エージェント、リアルタイム字幕ツール、通話後の分析パイプラインなどの開発ワークフローにシームレスに組み込めるように作られており、2つの別々のAPIで提供されます。1つはリアルタイムストリーミング用で、Live APIで`gemini-3.5-transcribe-live`を使い、対話型の音声アプリ向けに1秒未満のレイテンシで連続的な双方向ストリーミングを行います。もう1つは録音済み音声の処理用で、Interactions APIで`gemini-3.5-transcribe`を使います。GoogleはすでにGeminiアプリやAndroidなどの自社製品で、AndroidのRamblerやmacOS版Geminiアプリといった新しい音声機能を通じて、一般ユーザーがこの文字起こしモデルの恩恵を受けていることを確認しています。開発者も、Google AI StudioのGemini APIとGemini Enterprise Agent Platformにおいて、Gemini 3.5 Transcribeを使ってこれらと同様の機能を構築できます。Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel、Vision Agentsなどの開発者プラットフォームは、Gemini Live APIを活用して、高性能な音声駆動インターフェースを開発者が容易に構築・デプロイできるようにしています。これらのプラットフォームが複雑なリアルタイムのメディアストリーミング基盤を裏側で管理するため、開発者はユーザー体験づくりに専念できます。

Gemini 3.5 Transcribeは、録音済み音声において、タイムスタンプとともに最大3人の話者まで発話を正確に話者に割り当てます。3人を超える話者への対応は実験的です。

Chirp 3との比較と精度・対応言語

Googleが発表した、同社として最も精度の高い音声文字起こしモデルであるGemini 3.5 Transcribeは、従来の文字起こしモデルChirp 3から大きく進歩しています。Gemini 3.5 Transcribeは、新機能、単語誤り率(WER)の改善、および大幅に優れたレイテンシを備えています。

Gemini 3.5 Transcribeは、前世代の文字起こしモデルChirp 3と比較して、Artificial Analysisの測定で最終的な文字起こしまでの時間が70%改善しました。

FLEURSベンチマークの主要な言語・ロケールのセットにおいて、Gemini 3.5 TranscribeはChirp 3を上回る性能を発揮します。ストリーミングモードでの単語誤り率(WER)は5.50%であり、非ストリーミングの用途では5.04%です。

Gemini 3.5 Transcribeは、85を超える言語を自動で検出して文字起こしをし、地域ごとのアクセントや多様な方言もシームレスに扱います。Artificial Analysisの測定では、ストリーミング用途で4.0%、非ストリーミング用途で2.6%の平均単語誤り率(WER)を達成しています。また、提供されたカスタム語彙に文字起こしをシームレスに適応させることで、専門用語や独特の綴りを認識します。話している途中での言語の切り替えや、シームレスなストリーミング文字起こしにも対応します。このモデルはノイズの多い実環境でも高い性能を示し、郵便番号や注文IDなどの英数字のエンティティを正確に捉えます。

各サービスでの音声活用と企業の声

Gemini 3.5 Transcribeは、通常の音声テキスト変換にとどまらず、Googleの各サービスでの作業をより自然で直感的にします。Gboard、Antigravity、Geminiアプリ、Chromeといった日常的なサーフェスに文脈を踏まえた理解を直接組み込み、ニュアンス、意図、インライン編集を捉えます。Android版Gboardの新機能Ramblerでは、3.5 Transcribeが話した考えを、フィラーを除いた整形済みのテキストに変換します。さらに音声で編集、スペルミスの修正、文体の変更も可能です。

Google Antigravityでは、ユーザーの許可を得たうえで、3.5 Transcribeが画面のコンテキスト(screen context)とチャット履歴を組み合わせ、ファイル名、エージェントの思考、作業中のドキュメントにわたってピンポイントの文字起こし精度を確保します。Google AI Studioでは、Buildモードで3.5 Transcribeを使い、音声でその場でアプリをバイブコーディングできます。

macOS版Geminiアプリでは、3.5 Transcribeは自由な自然発話を整った書式のテキストに文字起こしするだけでなく、画面コンテキストと組み合わせて複雑なワークフローを動かす音声コマンドも可能にします。バックグラウンドで他のGeminiモデルを呼び出して重い処理を任せることで、ローカルファイルの要約、アプリ間でのテキストの再利用、カーソル位置での画像生成を音声だけで行えます。Gemini 3.5 Transcribeを使うと、同アプリで音声だけでファイルの分析、画像の生成、検索ができるようになります。Chromeでは近日公開予定で、あらゆるWebフィールドにおいて話して入力できるようになります。返信の口述、投稿の下書き、Chrome内のGeminiへのプロンプト入力を、音声でより自然かつ簡単に行えます。

vivo、Intellitek Health、Lingopalなどの企業が、3.5 Transcribeについて好意的なフィードバックを寄せています。これらの企業は、3.5 Transcribeのレイテンシ、精度、および幅広い言語サポートを挙げています。

開発者・企業・一般ユーザー向けの提供状況

開発者向けには、Gemini 3.5 TranscribeはGoogle AI StudioとGoogle Antigravityを経由するGemini APIにおいて、パブリックプレビュー(public preview)として提供されています。

企業向けには、Gemini 3.5 TranscribeはGemini Enterprise Agent Platform経由でパブリックプレビューとして提供されており、Gemini Enterprise for Customer Experienceでは近日公開予定です。

3.5 Transcribeの一般ユーザー向けの提供状況は、英語のmacOS版Geminiアプリ、一部の国と言語のAndroid版Rambler、そして近日公開予定のChromeです。