Googleは、インタラクティブな世界を生成して探索できる実験的な研究プロトタイプ、Project Genieの新しい体験の順次提供開始(rolling out)を発表しました。Googleは、このアップデートにより、対象となるGoogle AI Ultraの契約者は、はるかに応答性が高く、創造的で、社会性の高い世界を体験できるようになると述べています。今回のアップデートには、Genie 4への初のアクセス、Genie 3の新しいアップグレード、ユーザーがビジョンを形にするのを助けるProject Genie agent、そして世界を発見・探索・リミックスするためのコミュニティギャラリーが含まれます。Project Genieは今年初めに導入されました。早期テスターからは、世界の中で起きることをより深く制御したいこと、そして世界をより簡単に作って共有できる方法がほしいことが寄せられていました。

対象となるGoogle AI Ultraの契約者には、新しいProject Genieの体験が順次提供開始されています。これにより世界の応答性、創造性、社会性が大きく高まるとされています。

Genie 4の音声とリアルタイム編集

Project Genieは、Googleの最も先進的なワールドモデルとGeminiモデルを組み合わせており、ブラウザから直接、世界を生成し、その中に入り、形づくることができます。Genie 4は、これまでで最もリアルでインタラクティブなワールドモデルと位置づけられています。Genie 4は初めて、映像にリアルタイムのネイティブ音声を組み合わせます。この音声は場面の展開に合わせて変化し、環境音からキャラクターの会話までを含みます。Genie 4では、セッションの途中でプロンプトを入力して、作成した世界を変更できます。世界を移動している間に新しいプロンプトを入力すれば、天候を変える、キャラクターを登場させる、展開の向きを変えるといった環境をリアルタイムで編集できます。

Genie 4は最も高忠実度の映像、物理表現、ネイティブ音声(native audio)を提供します。一方、より長く実行したい場合や、パノラマを起点にした空間を使いたい場合のために、Project Genieのモデルピッカーでは Genie 3も引き続き利用できます。Genie 3はリアルタイムのプロンプト指定イベント(real-time promptable events)を使用して、森、海中の遺跡、氷の海といった異なる世界を1つの連続した飛行としてつなげることができます。また、360度パノラマによるグラウンディングにより、周囲を見回してもペトラの峡谷とファサードの一貫性が保たれます。Genie 3では、飛行しながら世界を変化させたり、コマンドでドラゴンを呼び出して乗ったりすることも可能です。

Genie 3の更新には、1回の生成あたり最大3分(従来は60秒)まで探索できるセッションの延長(extended sessions)と、複数の世界をつなぐワールドチェイニング(world chaining)が含まれます。また、360度パノラマ画像から新しい世界を生成できる「360度パノラマ画像グラウンディング」も含まれます。さらに、探索中に自然言語のプロンプトで環境を動的に変更できるリアルタイムのワールド内イベント(in-world events)も含まれます。Genie 3の更新「Extended sessions and world chaining」では1回の生成あたり最長3分(従来は60秒)まで探索でき、複数の世界をつなげてより長い旅もできます。また、「360-degree panorama image grounding」では360度パノラマ画像から新しい世界を生成できます。

探索中のセッションに Gemini モデルを加えることも可能です。Gemini モデルは画面上で起きていることを観察し、次にどこへ行くかについて文脈に応じた提案チップを表示するか、旅の展開に合わせてワールド内イベントを自動で起こします。自然言語のプロンプトからインタラクティブな宇宙遊泳を作り、コマンドでエイリアンの宇宙船を出現させる例があります。丘の中腹のカフェを、砂漠のガラスのパビリオンにリミックスする例があります。

ギャラリーとGenie agent

Project Genieギャラリーは、厳選されたワールドとコミュニティによる創作物を集めたコレクションで、すぐに探索を始めたいときに使えます。Project Genieギャラリーの「Living Memory」では、個人の写真を探索可能な空間に変換できます。「Rock Paper Scissors」では、机の上でテーマに沿ったオブジェクト同士を戦わせ、Geminiがリアルタイムの審判を務めます。

新しい Project Genie agent は、1回のテキストまたは画像のプロンプトを超えた世界づくりを可能にします。世界の構想を自然言語で説明するだけで、エージェントが Google のマルチモーダルモデル群を統括して、世界の特徴的な見た目を決める最初のビジュアルと、雰囲気に合わせたカスタムのバックグラウンドスコアを作成します。Project Genie では、シンプルなプロンプトで自分のビジョンを立ち上げることもできますし、Project Genie agent とともにギャラリーの既存の体験をリミックスすることも可能です。リミックスでは、ベースにあるワールドの構造、サウンドトラック、ルールを調整して自分だけのものにできます。

作品ができあがったら、Project Genieのコミュニティギャラリーに公開でき、他のユーザーが探索とリミックスをすることが可能です。

Project Genieギャラリーでは、これらのツールに早期アクセスしていた先駆的なクリエイターとの共同制作作品も紹介されています。「Villa Giallo」は、クリエイティブテクノロジストのWill aka BLVCKL!GHTと協力して作られたもので、Genie 4を使ってゴシック様式の屋敷を部屋ごとに進む謎解きに変えます。「The Life of Ants」は、映画監督のAnand Gandhiと協力して作られ、Genie 4のフォトリアリズム(photorealism)を使って、アリの視点から複雑なコロニーを移動できます。Project Genieギャラリーでは、「Dino Field Guide」は360度パノラマに基づく豊かな先史時代の生息地を歩き回れる世界です。

安全対策と残る課題、参加方法

Googleは、インタラクティブなワールドモデル(world model)を責任をもって開発し、順次提供開始することに取り組んでいます。実験的な研究プロトタイプであるProject Genieで生成されるすべての映像と音声には、SynthIDの透かし(watermarking)が含まれます。また、モデルのすべての入力と出力は安全性スクリーニングを通ります。

Genie 3とGenie 4は、最先端の研究領域にあるワールドモデルのままであります。研究が進むなか、Googleはカメラのレイテンシ、複雑な物理的相互作用、リアルタイム音声の精度、長期的なシーンの永続性といった主要な課題に積極的に取り組んでいます。モデルの制約とこれらの課題への進捗の詳細は、Genie 4 model research overviewで読めます。

Google AI Proの会員は、新しいProject Genie体験を試せるページで、ウェイトリストに参加できます。