Googleは、開発者を支援するための新しいクリエイティブコントロールと生成動画(generative video)機能のスイートであるGemini Omni 1.1 Flashを発表しました。Gemini Omniは生成(creation)に現実世界の推論をもたらしており、今回のアップデートによりOmni 1.1はGoogle AI StudioのGemini API経由でプロ用途の本番利用(production-ready)に対応します。
Gemini Omni 1.1 Flashは、開発者を支援する新しいクリエイティブコントロールと生成動画機能のスイートです。生成動画ワークフロー、クリエイティブツール、またはメディア編集ソフトウェアを構築する場合に向けて、今回のアップデートは生成動画をより制御しやすく、反復を速く、実運用に向けて磨かれたものにします。
シーン延長のプロンプト例として、カメラを少し動かして彼女が巻き毛の男性と話していることを見せ、男性の背中が見え、男性が「I see it too」と言い、劇的な音楽(dramatic music score)を付けるよう求めるもの(Prompt 1)があります。続けて、カメラをゆっくり引き(slowly pulls out)、忘れ去られた埃っぽいカタコンベを見せるよう求めるもの(Prompt 2)や、棚と本が埃っぽい虚空に無重力で浮かぶ広大な図書館へとカメラがゆっくり引く(slowly pulls out)よう求めるもの(Prompt 3)も、いずれも劇的な音楽付きで示されています。
シーン延長の仕様と使い方
シーン延長(Scene extension)では、既存の動画を取り、中断したところからシームレスに映像の生成を続けられます。Omni 1.1のシーン延長では、動画を10秒ずつ延長でき、累積の合計長は最大40秒までです。また、Omni 1.1では、シーンを作る際に最大3秒の動画を参照でき、動画リファレンス(video references)に基づいて視覚的な文脈とキャラクターの一貫性を保てます。
シーン延長のセリフ付きプロンプト例として、青いセーターの男性が「Did your father go out on the boat too?」と返すよう求めるもの(Prompt 1)や、カメラが一続きの動きで引きながら男性が「He used to say that this harbour had a soul. And that the boats were a part of us.」と話を続け、音楽が高まるよう求めるもの(Prompt 2)があります。また、人物がカメラを直接見て最終章がどう終わるかを語るよう求めるもの(Prompt 1)や、立ち上がって机を回ってカメラに近づき「what would you choose?」と言うよう求めるもの(Prompt 2)も示されています。
Gemini APIでシーンを延長するには、client.interactions.create に model="gemini-omni-1.1-flash" を指定し、previous_interaction_id に延長元の動画のインタラクションID(previous_video_interaction.id)を渡し、input にテキスト "Continue the scene." を与え、response_format で resolution を "360p" に指定します。
Omni 1.1では、ショットの開始フレームと終了フレームを指定することで、滑らかな遷移とカメラの動きを実現できます。Omni 1.1は2つのキーフレームの間を連続した動画として生成するため、複雑なカメラのオービット、ズームトランジション、またはシームレスにループするクリップなどに適しています。
最初と最後のフレームを指定する例として、ベージュのスーツのドラマーが赤いドラムキットを演奏するローアングルのクローズアップから、カメラがウィップパンで横に振られ、紫の柔らかなステージ照明の下でサックス奏者と白い衣装で回転するバレエダンサーが現れる、ジャンプカットなしのワンショット(continuous shot)のプロンプトが示されています。さらに、最初と最後のフレームを指定する例として、カメラがテレビ画面にズームインし、冒頭と同じ女性と同じシーンが映る、シームレスなワンショットでジャンプカットなしのプロンプトが示されています。Omni 1.1で360p解像度のプレビューを生成すると、標準の720p解像度と比べて生成が最大60%高速で、コストは3分の1になります。ただし「最大60%高速」はシステムスループットを360pと720pで比べた値に基づきます。
シーン延長の例のうち、「Continue the video.」に続けて与えるドリーズーム用のプロンプトは、「Execute a cinematic optical dolly-zoom shot.」と指示しています。このプロンプトは、カメラが前進しながら同時にズームアウトして、キャラクターの凍りついた驚き顔を同じ大きさに固定し、背景の石柱の長い回廊が強い光学的な遠近歪みで劇的に引き伸ばされ奥行きを増す、という内容を記述しています。最後に「Clean architecture, continuous unbroken shot.」という指定も加えています。続く2つ目のプロンプトは、「Continue the video.」に続けて、カメラがキャラクターの見開いた目へ素早く機械的なスナップズームを行うよう指示し、様式化された映画的なカメラ制御を求めています。
Omni 1.1は、プロフェッショナルな制作にそのまま使える、高解像度の1080pまたは4Kの出力を生成できます。360pでの生成は、システムスループットに基づくと、720p解像度と比べて最大60%速いです。
Omni 1.1は、プロダクション用途に使える1080pまたは4Kの高解像度の出力を生成できます。その例として、「小さなシマリスが画面左側の森から飛び出し、好奇心いっぱいに空気の匂いを嗅いでから画面右側へ駆け去る」というプロンプトが示されています。360pの軽量プレビューの例として、虹色に輝く海産珪藻をガラス質のシリカ殻の精緻な構造とともに顕微鏡視点で描く「A microscopic view of iridescent marine diatoms」というプロンプトも示されています。この際、動画全体を通して顕微鏡のレンズ効果を維持するよう指示する文が含まれています。
動画リファレンスの例として、アップロードした3本のダンサー動画のダンサーを指定キャラクターに置き換え、提供画像の広い空間で各リファレンス動画のダンスを一緒に踊らせるプロンプトが示されています。この動画リファレンスの例では、dog.pngの犬はdance3.mp4のクラシックダンス、octo.pngのタコはdance1.mp4のヒップホップ、bear.pngのクマはdance2.mp4のブレイクダンスを踊り、結果はシーンカットのないワンショットとされる。
シーン延長の例のうち、3つ目のプロンプト(Prompt 3)も「動画を続ける(continue the video)」で始まり、時間が静止した瞬間としてキャラクターと風になびくコートを固定し、カメラが凍りついたキャラクターの周りを滑らかで高速な360度の周回回転(orbital rotation)で撮影し、列柱に劇的な3D奥行きと視差を見せるよう求めています。また、アプリの構想として、最初のフレームと最後のフレームを投入すると、プリセットまたはプロンプトボックスでその間のトランジションを生成できるものがあります。これとは別に、部屋の中でカメラを動かすアプリの構想もあり、カメラは弧を描き、押し込み(push in)、引く(pull back)動作を行います。最初と最後のフレームから遷移を作るアプリでは、Omniのフルコンテキスト推論(full-context reasoning)により、本物らしく見えるカメラの動きが得られます。部屋の中でカメラを動かす前述のアプリは、住宅を最適な時間帯の理想的な状態で見せ、実在しない家具やディテールは加えません。クリエイターは、適切な1本にたどり着くまでに複数の動画を生成しています。Draft Roomは、360pで3〜4個のドラフトを、一度に1つずつ要素を変えながら生成し、並べて比べられるようにすることで、この試行を低コストで構造化されたものにします。
導入企業のコメント
顧客はすでに、Agent Platform API経由でGemini Omni Flashを実際の制作に使っています。AdobeはGemini Omni FlashをAdobe Fireflyに統合しました。Figma WeaveのCreative DirectorであるItay Schiffは、Gemini Omni FlashはFigma Weaveで利用できる最も強力な動画モデルの1つだと述べています。キャンバスにより、リファレンスの添付やバージョンの分岐などで各生成の上に積み上げることが可能です。シーン延長、より豊富なリファレンス素材、4K解像度により、チームは動画の生成を超えて、動画を実際にディレクションできるようになるとItay Schiffは述べています。
GMI CloudのVP of MarketingであるLouisa Guoは、GMI Cloudが創作者に世界で最も高性能なモデル群への一元的なアクセスを提供していると述べています。Gemini Omni Flashの際立つ点は正確さであり、細部が精査に耐えるとLouisa Guoは述べています。教育・解説コンテンツを作る顧客にとっては、この信頼性がどの単一機能よりも重要であるとLouisa Guoは述べています。また、Omniによって、これまでAI動画に頼れなかった層でもAI動画が実用的になったとLouisa Guoは述べています。RunwayのChief Creative OfficerであるJamie Umphersonは、Omni Flashはプロンプト、画像、動画のいずれかから始めて生成や編集を行うというRunwayの使われ方に自然に合い、ユーザーがアイデアの間を素早く行き来する新たな手段になると述べています。
提供環境と利用できるサービス
Gemini Omni 1.1 は Google の開発者エコシステム全体に順次展開されており、Google AI Studio で直接試すことができます。企業は、Gemini Enterprise Agent Platform において Agent Platform API を通じて Omni 1.1 を使って直接構築できます。公式ドキュメント、クックブック、プロンプティングガイドでは、シーン延長(scene extensions)、動画リファレンス、アップスケーリング(upscaling)をアプリケーションに組み込む方法を確認できます。
世界中のすべてのGoogle AI Plus、Pro、およびUltraの契約者は、8月27日からGoogle FlowにおいてOmni 1.1を利用できます。また、世界中のすべてのGoogle AI Plus、Pro、およびUltra契約者は、Geminiアプリでシーン延長を利用できます。