Gemini 3.8 Live with Live Avatarは、先週のGemini 3.8 Liveの公開に続いて発表された、ネイティブなライブ対話モデル(native live dialogue models)にほぼリアルタイム(near real-time)の視覚的な存在感(visual presence)を加える機能です。見たものと聞いたものをほぼリアルタイムで取り込み、表現豊かな音声と映像で応答することで、より自然な会話を実現します。
Live Avatar機能は、ほぼリアルタイムの映像生成と音声を組み合わせ、動的なビジュアルペルソナで聞き、見て、話す体験をつくります。Gemini 3.8 Live with Live Avatarは、幅広いキャラクターに対応し、それぞれ異なる外見・声・表現力を持ちます。正確なリップシンク(lip-sync)、自然な表情、流れるようなターン交代(fluid turn-taking)も備えています。この機能により、企業はカスタマーサービスやインタラクティブなウォークスルーの提供などを通じて、バーチャルな提供サービスをよりインタラクティブに拡張できます。なお、Gemini 3.8 Live with Live Avatarは発表当日からGemini Enterpriseで利用可能であり、使い始めるにはAPIドキュメントを参照するよう案内されています。Live Avatarは、こうしたカスタマーサービスやウォークスルーなどの場面で、デジタルなやり取りをより豊かで利用しやすい体験に変えるとしています。
Live Avatarは、視覚入力と音声入力を同時に処理することで、より包括的な体験のための豊かな会話を生成します。人間の会話は聞く・見る・話す・表情を使うというマルチモーダルなものですが、この能力を企業のエージェントにもたらすのがLive Avatarです。
Live Avatarには多様なプリセットのアバターのライブラリがあり、これに加えて組織が独自のLive Avatarをカスタマイズすることも可能です。開発者は高品質な参照画像から、参照画像の似姿(likeness)、ブランドのスタイル、またはキャラクターのアイデンティティを保ったまま、完全にアニメーション化された応答性のあるアバターを生成できます。なお、カスタムアバターの作成は、現時点では企業のallowlist登録(enterprise allowlisting)を通じてのみ利用できます。
Gemini 3.8 Live with Live AvatarのLive Avatarは、Geminiの高度な推論に支えられています。非同期ツール呼び出し(asynchronous tool calling)により、対話を続けながらバックグラウンドでツール呼び出し(tool call)を起動してデータを取得でき、複雑なタスクを処理しつつ会話の流れを途切れさせません。例えば、ホテルでのゲストのチェックインのような複雑なタスクも、対話を途切れさせずにバックグラウンドでツールを呼び出しながら処理できます。
Gemini 3.8 Live Avatarは、会話の途中で言語を切り替えることができ、リップシンクと表情は97言語にわたってシームレスに適応します。Live Avatarはネイティブな多言語のspeech-to-speech同期を備え、リップシンクと表情を動的に適応させながら、映像の忠実度(video fidelity)を落としたり視覚的なドリフト(visual drift)を生じさせたりすることなく、97言語間をシームレスに切り替えられます。会話での存在感は自然に感じられるべきで、言語によって制限されるべきではないとしています。
Live Avatarは、アイデンティティを尊重し、AI生成コンテンツ(AI-generated content)の透明性を保つための厳格な安全対策(safeguards)を備えて構築されています。Live Avatarの開発元のAI製品が生成するすべての出力には、SynthIDの透かし(watermark)が付与されます。この人間には知覚できない透かしは音声と映像の出力に直接織り込まれており、AI生成コンテンツを検出可能な状態に保つ助けとなり、誤情報や誤った帰属(misattribution)を最小限に抑えることに役立ちます。安全性と責任ある展開に対する包括的なアプローチは、モデルカード(model card)で確認できます。