Googleは、最新モデルのGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteでエージェント型動画理解の提供を開始しました。この機能は、動画分析の精度を改善しつつ、トークン使用量とコストを大幅に削減します。エージェント型動画理解は、Google AI StudioのGemini APIとGemini Enterprise Agent Platformで、現在、動画アップロードとYouTube動画に対して利用できます。
従来の静的処理との違い
従来の静的処理(static processing)では、モデルは固定のフレームレート(FPS)で動画を取り込みます。このデフォルトのフレームレートは1 FPSですが、APIによって調整が可能です。
エージェント型動画理解は、モデルの中核となる推論とネイティブな動画ツール(native video tools)を組み合わせ、映像フレーム、音声、文字起こしにわたって、対象の動画区間を動的に検索、スキャン、精査します。Geminiは、何を見るか、どの速度で見るか、どのモダリティ（フレーム、音声、文字起こし）で見るかを決める能動的で目標指向の役割を担い、必要な場面と信号だけを取得します。これは、モデルが動画を固定のフレームレート(デフォルトは1 FPS、APIで調整可能)で取り込む現在の「静的(static)」な処理とは異なります。
コストとトークン消費、精度の改善結果
標準的な動画分析ベンチマーク全体で、エージェント型動画理解を用いたGeminiモデルは、分析コストを最大66%削減し、トークン消費量を最大88%削減しながら、精度を最大7%向上させます。この効率面の向上は、10分のハウツーガイドから90分の講義、数時間に及ぶ録画までの長尺動画(long-form video)で特に顕著です。静的処理では、開発者は高いトークンコストか、重要な詳細を落とす手法かの選択を迫られます。
エージェント型動画理解による向上は、サポートされる3つのモデル(Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite)すべてに及びます。その中でも、エージェント型動画理解を使ったGemini 3.7 Flashは全体として最良の品質と、品質とコスト効率の最良の組み合わせを提供し、テストしたモデルのうち動画理解における精度対コストのパレートフロンティア(accuracy-to-cost pareto frontier)に位置します。Gemini 3.7 Flashでエージェント型動画理解を有効にすると、トークン消費量が最大88%減り、精度が最大7%向上します。
場面検索や異常検知などの活用例
1秒未満の場面検索(sub-second moment retrieval)では、エージェント型動画理解により、1 FPSでは見落とされやすい1秒未満の状態変化や厳密なカット境界を特定でき、精密な自動動画編集が可能になります。異常検知(Anomaly detection)では、注目すべき時間帯をより高いFPSで再サンプリングし、素早い動きや微細な視覚的アーティファクトを調べられます。また、アクションとオブジェクトのカウントでは、繰り返される身体動作や、時間経過の中で現れる個別のオブジェクトを正確に追跡できます。
長尺動画理解のベンチマークであるLongVideoBenchにおいて、Gemini 3.7 Flashのエージェント型動画理解あり・なしの性能が比較されています。トークン数の大幅な削減と精度の向上が示されています。
エージェント型動画理解を使うと、Gemini 3.7 Flashは、必要に応じて異なるフレームレートで動画をスキャンして見直すことで、速い動きを正確にカウントできます。
エージェント型動画理解を使うと、Gemini 3.7は、動画の内容に基づく複雑な質問に正確に答えられ、静的分析(static analysis)と比べて消費するトークン数が大幅に少ないです。エージェント型動画理解の用途のひとつである、長尺動画から特定の箇所を探し出す検索(needle-in-a-haystack検索)では、数時間に及ぶ動画に対する複雑なクエリに、数百万トークンを消費せずに答えられます。
エージェントループによる仕組み
エージェント型動画理解では、固定フレームレートでメディアストリームを取り込む静的処理とは異なり、Geminiが何を見るか、どの速度で見るか、どのモダリティ(フレーム、音声、文字起こし)で見るかを決め、必要な場面と信号だけを取得します。開発者はこれまでもこうした処理を手動で行えましたが、エージェント型動画理解では、Geminiがエージェントループ(agentic loop)を通じて実現します。Geminiは内部ツールを呼び出して動画ファイルの関連部分を読み込むため、開発のオーバーヘッドが大幅に減ります。早期アクセスでエージェント型動画理解を試したパートナーの多くが、高い性能を確認しました。Googleは、エージェント型動画理解の効率と品質の向上を、Googleの各種製品を通じて数十億のユーザーに届けるとしています。
API設定でprocessingを"agentic"に設定すると有効になります。
提供対象と料金、今後の展開
エージェント型動画理解は、Google AI StudioのGemini APIとGemini Enterprise Agent Platformで、Gemini 3.7 Flash、3.6 Flash、および3.5 Flash-Liteを対象に提供されます。標準のGemini APIトークン料金が適用され、機能追加料金はかかりません。Gemini APIのclient.interactions.createで、modelにgemini-3.7-flashを指定し、動画 https://youtu.be/7Z5Vy9JBANs を"processing": "agentic"で渡して「このキーノートで最も重要な発表3つは何か」と尋ねるコード例が示されています。エージェント型動画理解は、FlashとFlash-Liteのモデルにおいて、Geminiアプリの全ユーザーに近日中に展開される予定です。
今後数か月のうちに、エージェント型動画理解は、YouTubeの動画視聴ページにある「Ask YouTube」機能にも使われる予定です。この機能はGeminiを活用して、映像に基づくより質の高い回答を提供します。