Gemini 4 Argonを発表、物理的理解やコード生成を備えロボット制御を繋ぐ新モデル

Gemini 4 Argonは、物理的理解、コード生成、および視覚的・意味的推論において飛躍的な変化を示すモデルであり、ロボティクススタック全体で新しいワークフローを可能にし、物理的な汎用人工知能(AGI)への進展を加速します。

Argonは、コーディング、視覚認識、物理シミュレーション、および身体を持つロボットの制御をつなぎます。

Embodied Reasoning(ERQA)ベンチマークは、3D環境における物理的・空間的な問題をモデルが理解して解く能力を試すものです。Gemini 4 Argonは、このベンチマークで純粋な推論を用いて87%のスコアを出し、他のすべてのフロンティアモデルを上回りました。また、汎用の物理推論モデルとして、ロボティクスのライフサイクル全体に適用できます。

ロボット制御の具体例

Argonは、Boston Dynamics Spot®の四足ロボットを制御する例として、12自由度(DoF)の脚と6自由度のアームを用いて、足踏み式ペダルのゴミ箱を踏んでソーダ缶を捨てるという新しいスキルを学ぶことができます。このタスクを実行するために、まず足踏み式ゴミ箱の関節付きのMuJoCoデジタルツインを作成し、物理的なペダルを実際に踏んで開いたゴミ箱にソーダ缶を落とす前にその動きを練習します。

別の例として、Argonは単純なロボットアームを制御し、倒れたマグカップを立て直して、くしゃくしゃのナプキンをその中に入れます。視覚座標ハーネスとアクションプリミティブを使って推論し、このタスクを複数ターンにわたって実行します。ロボットアームの例のプロンプトにはwrist_cam.pngとobs.jsonが添付され、タスクは「ロボットアームにマグカップを立て直させ、ナプキンをマグカップの中に入れさせる」ことです。

Spotの例のプロンプトでは、背後にあるDiet Cokeの缶と左の黒いテーブル上の缶を、spot-mobile-manipulation skillで拾って黒い足踏み式ゴミ箱に捨てるよう指示します。ペダルを踏む前に、前方カメラで右前脚の足の目標位置がペダルの中心にあることを確認します。さらに、foot-verifierとhand-verifierの2エージェントによる検証スウォームで、缶を離す前に、足でのペダル踏みと3Dでの手とゴミ箱のアラインメント(alignment)の両方を検証させます。

ArgonはGemini Omniのワールドモデル内でロボットを操り、散らばった5枚のスクラブルタイル(`G, R, A, N, O`)を`A - R - G - O - N`と綴る整った一列に並べ替えます。Argonは1つの静的なプロンプトを指定する代わりに、閉じた視覚ループで操縦します。タイムスタンプ付きの行動プロンプトを書き、ロールアウトの中間キーフレームを確認して、プロンプトを改良します。このプロンプトは「Goal: {task_goal}」で始まり、「You are steering a video world model (Gemini Omni) in an iterative visual feedback loop.」と続きます。

デジタルツイン構築と器用な操作、シーン生成の例

Argonは実機のロボット遠隔操作エピソードを見てデジタルツインを構築します。器用な手との接触時に、実物のように見え振る舞うシミュレーションアセットを取得または作成します。また、反復的な視覚推論ループの中で、シミュレーションの見た目と接触イベントを実際に記録されたデータのものに合わせるよう、アセットとシーンを調整します。

一人称視点の人間の動画に映る操作タスクについて、Argonはタスクに関係する対象物を特定し、凹型の容器の粗いバウンディングボックスを複合凸分解メッシュに置き換えます。さらに、人間の手の軌道を、MuJoCoの接触物理上で、22-DoFの5指ハンドを持つ76-DoFの双腕ヒューマノイドにリターゲットします。プロンプト例のシーン再構築とカメラキャリブレーションでは、操作に関係する物体（掴む対象物と、受け側の容器またはランドマーク）のみを特定し、それらのテーブル上の3D座標を、一人称視点カメラの内部・外部パラメータから三角測量します。また、粗いバウンディングボックスを複合凸分解3Dメッシュに置き換え、凹型の容器（入れ子のボウル、くぼみのある木製トレイ、開口ビンなど）の内部に物理的に配置できるようにします。

プロンプト例の500 Hz器用モーションフィッティングのストレステストでは、人間の手首と指の3Dキーポイントをヒューマノイドの7-DoFアームと22-DoFハンドの関節にリターゲットし、運動学的なウェルド拘束を0個にしたまま、MuJoCoで500 Hz(dt = 0.002s)で軌道をステップします。このテストでは、親指と他の指が対向する力閉包(force closure)、明確な物体の持ち上げ（2 cm超）、および目標のランドマークの内側または隣での安定した最終配置を検証します。

Argonは器用な操作について精密な物理的理解を持ち、動画から詳細なセグメンテーションとテキストラベル付けを行えます。また、一時停止、不安定な把持、取り落としといった質の低い操作区間を識別できます。

Argonは、12個のビリヤードボール（1個だけ密かに重いか軽い）と、関節構造を持つRoberval式の2皿天秤を備えた双腕のFranka FR3 MuJoCo環境を構築し、古典的な12個のボールの天秤パズルをロボットで再現します。12個のボールの天秤パズルのプロンプト1では、共有の卓上に平行ジョーグリッパー付きの7-DoFのFranka FR3アームを2本置いたデュアルアームロボットのMuJoCo環境において、2x6の初期ラックに並べられた12個のビリヤードボール（11個は標準の150 g、1個の異なる重さのボールは270 gまたは30 g）を対象とします。続いてArgonは、視覚のみで動く閉ループのソルバーを書きます。このソルバーはステレオRGBカメラからボールの位置を三角測量し、計量のたびに天秤の傾きを目で読み取り、3回以内の計量で異なるボールをHeavy(赤)またはLight(青)のトレイに分けます。

前述のスクラブルタイルを並べ替える事例で、ArgonがワールドモデルであるGemini Omniを操縦するために使うプロンプトは、最新のロールアウトの添付フレームを確認し、次のタイムスタンプ付き行動プロンプトを書くよう指示します。この指示には、複雑な動作を、一度に1つずつの単純な一方向の行動に分けること、使わない手は引っ込めてカメラからワークスペースの物体への視界を遮らないこと、物体が動いた後にワークスペースのどの領域が空になるかを明示すること、各行動の区切りに [MM:SS.mmm] 形式のタイムスタンプを使い出力を <omni_prompt> タグで囲むことが含まれます。プロンプトに含まれる出力形式の例は、<omni_prompt> タグの中に [00:00.000]、[00:02.500]、[00:05.000] のタイムスタンプ付きで行動を書きます。これはサンプルのタイムスタンプのみであり、完全なプロンプトではありません。

ロボットアームの例のプロンプトの「Execution Discipline」の節では、1文の観察の直後に `curl` コマンドを出力するよう指示しています。この `curl` コマンドには、1ターン目に `# Plan:` を、すべてのターンに `# Thought:` を付けます。必要な情報はすべて `obs.json` と、`wrist_cam.png` に描かれた較正済みのレチクル/グリッドにあります。`wrist_cam.png` の注釈付き座標系では、画像の上方向が +X（ロボットベースから遠ざかる向き）で、下方向が -X（ロボットベースに向かう向き）です。画像の左方向は +Y（ワールドの左）で、右方向は -Y（ワールドの右）です。

`wrist_cam.png` の注釈では、+Z はテーブルからの高さを表します。黄色の数字はワールドの (X, Y) 座標をセンチメートルで示し、グリッドは `grid_z` で 2 cm 間隔です。シアンの十字が現在の3Dピンチ中心を示し、シアンの [ + ] ブラケットが現在のジョーの開閉ラインを示します。緑の線は対象物の現在の長軸の向きを示し、`yaw_deg` は 0° が +X に沿った垂直、90° が +Y に沿った水平を表します。また、`pitch_deg = 90°` は真下（-Z）へのトップダウンの把持・配置を表し、`pitch_deg < 60°` は指の軸に沿って傾いた同軸のアプローチを表します。

Closed-Loop Turn Workflow の手順1として、現在の状態を確認し `wrist_cam.png` を見るために `curl -s http://127.0.0.1:8081/obs` を実行します。このエンドポイントは `ee_pos`、`holding`、`status`、`workspace`、`wrist_cam_path` を返します。手順2として、1ターン目の時点で、視覚言語モデル(VLM)の呼び出しの粒度を先に選びます。粗い(Coarse)場合は2〜4回の呼び出しで、`look_at` -> `grasp` -> `place` -> `done` の順に行います。VLM 呼び出し粒度の選択肢 Pre-Grasp Hover Verify は4〜7回の呼び出しで行い、`look_at` -> `goto(z=0.04)`（シアンの `[ + ]` ブラケットが対象をまたいでいることを確認）-> `grasp` -> `place_until_contact` -> `done` の順に行います。Fine Visual Servoing は8〜20回の呼び出しで行い、`look_at` -> `grasp` -> 事前姿勢への `goto` -> 閉ループの `move_by` / `move_until_contact` -> `done` の順に行います。手順3として、動作プリミティブを `POST /plan` で送り、毎ターン後に更新された `wrist_cam.png` で目視確認します。`status == "grasp_failed"` の場合は、`robot.look_at(...)` を呼んで再観測し、閉ループで回復します。

Code-as-Policies のプリミティブには、把持の `robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)`、配置の `robot.place(x=0.24, y=0.06, z=0.075)`、接触まで下げる配置の `robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)` があります。そのほか、`robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)`、`robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)`、`robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)` もあります。グリッパー操作などの `robot.open_gripper()` / `robot.close_gripper()` / `robot.home()` / `robot.done()` もあります。

遠隔操作エピソードからデジタルツインを作る例のプロンプト（ロボットのロールアウトのエピソードを添付）は、まずロボットと再構成したタスク対象物のMuJoCoシーンを作るよう指示します。そのうえで、検証目標を2つ示しています。1つ目は視覚の一致で、head_left、left_wrist、right_wrist の各カメラのMuJoCoレンダリングが、実際の観測と位置が合い、見た目も似ていることです。2つ目は物理の一致で、各Sharpa指先でシミュレートされた接触力/トルク（センサーフレーム）が、記録された tactile_force と、タイミング・大きさ・方向で一致することです。Argonによる環境構築・動作再現の検証では、ロボットの関節をログに記録された observation.state に向けて関節空間の比例・微分(PD)制御で駆動しながら各エピソードをフレームごとに再生し、これら2つの検証目的で反復を行います。

シミュレーション開始前に調整できる項目の1つ目は静的な対象物アセットで、現実的な形状、衝突形状、質量、慣性、摩擦、関節を、実物に近い見た目とともに設定でき、t = 0 の対象物の初期姿勢も含まれます。2つ目の項目はオフラインで計画したロボットコマンドで、実際の指先が対象物の近くにあるフレームでのみ変更できます。各コマンドは記録された遠隔操作の軌道から、アーム関節は 0.55 rad 以内、ハンド関節は 0.65 rad 以内に収める必要があり、それ以外のフレームでは記録された軌道をそのまま再生します。「sim cheating」は禁止で、タスク対象物はロボットのハンドおよび環境との実際のMuJoCo接触（mj_step）を通じてのみ動いてよいとされています。t = 0 以降に禁止されることとして、MjModelパラメータの変更、対象物への外力・トルクの印加、weldや等式拘束、関節空間PD以外のフィードフォワードトルク、対象物の qpos/qvel の設定やロールバック、衝突の無効化や除外、MuJoCoソルバー由来でない接触力の報告（例: 記録された触覚読み取り値のコピー）が挙げられます。

プロンプトでは、再構成したシーンとロールアウト結果を、エピソードごとに1ページのインタラクティブなHTMLセッションビューアとしてすぐに提示するよう指示します。下部には、再生・スクラブ・速度調整ができ、全パネルを駆動する同期タイムラインが置かれます。HTMLセッションビューアの左パネルには、シミュレートされたロボットと対象物のインタラクティブな3D Blenderシーンが表示され、再生の進行に合わせて接触点と力の矢印を示します。右パネルには、3つのカメラすべてについて実物とシミュレーションのカメラ映像が並べて表示されるとともに、実物とシミュレーションの指の力の可視化も表示されます。

Argonを使うと、開発者は手書きの簡単なスケッチを写真に撮るだけで、そのスケッチをもとにしたシーンをArgonに作らせることができます。スケッチは、Apollo 2ヒューマノイドが放物線を描いてボールを投げ、テーブル上の3-2-1に積まれた箱の山を倒す様子を描いたものです。Argonは、GPU高速化された`mujoco_warp`シーンを自動構築し、バランスのとれた76-DoFの全身および5指の投てき軌道を合成します。さらに、閉ループ物理で6/6の標的倒壊を検証し、Blender 4.5 Cyclesレンダーを書き出します。

スケッチ由来のシーン設定として、`hand_drawn_throw_sketch.jpg` から空間レイアウトを解析します。この設定では、76-DoFのヒューマノイド（32-DoFの身体に、それぞれ22-DoFの5指の器用なハンド2つを装備）を原点に置き、6個の剛体ターゲットボックスを3-2-1のピラミッド状に積んだテーブルに向けて立たせ、投擲用の球体を右手の5指ハンドで把持させます。全身での投擲軌道は50 Hz(140ステップ、2.80秒)で合成され、4つのフェーズからなります。その構成は、(1)安定した姿勢と5指のパワーグラスプの閉じ込み、(2)足首-股関節の重心補償を伴う体幹/肩のワインドアップ、(3)前方へのむち打ち加速、(4)手の速度がピークのときに22-DoFの5指を同期して開き、ボールが弾道を描いてピラミッドの2段目の重心に飛ぶようにする、というものです。`mujoco_warp` の接触物理で、ヒューマノイドが直立バランスを保ち(骨盤のドリフトが3 cm未満)、6個のターゲットボックスをすべて倒すことを検証します。

動画のアノテーションと価値関数としての活用

双腕のALOHA 2ロボットが正方形の紙を136秒かけて折り紙のキツネに折る俯瞰動画を入力すると、Argonは時間軸が揃った4階層の後付けアノテーション階層を出力します。この階層は、エピソード目標(G1)、連続する6個のSemantic Subtasks (G2)、17個の接触レベルのAtomic Primitives (G3)、そして取り落としや再試行の間タスク進捗を一定に保つ自動の品質管理(QC)による重み付けの調整です。

動画 Aloha2_Origami_20250309.mp4 について、時間軸に沿った多粒度の後付けアノテーションJSONを4つのレベルで作成する指示では、1つ目の G1_episode_instruction は操作タスク全体の目標を述べる簡潔な命令文とされています。G2_subtasks は連続した意味的なサブタスクのフェーズであり、どのアームがアンカーとなり、どのアームが折る・回すかなどを指定します。G3_atomic_primitives は、グラスプの閉じ込み、折り目のなぞり、解放、リトライ試行に整列した、接触レベルの細粒度プリミティブ(3〜15秒)です。quality_control_and_reweighting では、進捗のないスリップ/剥離のリトライループの間は task_progress_pct を一定に保ち、このリトライループ区間のサンプルについて 行動模倣(Behavior Cloning)用の重みを 0.15x〜0.25x に下げます。

Argonはマルチビュー動画、3Dジオメトリ、接触力学、固有受容テレメトリをネイティブに推論することで、シーンにどんな物体があるかだけでなく、それらがエージェントとどう物理的に相互作用して全身の器用なタスクを達成するかを理解します。Argonはロボットタスク向けの汎用価値関数です。人間のUMIデータセットにある60秒の双腕リング仕分けエピソードで評価したところ、Argonは同期した頭部・左グリッパー・右グリッパーのカメラ映像を、接触の遷移の前後で反復的に調べ、密な価値関数/タスク進捗の予測を生成し、軌跡を進捗の傾きが正・中立・負の28セグメントに分解しました。人間のUMIデータセットの例では、動画を丁寧に見て、タスクの進捗を(正・中立・負の傾きで)詳細にプロットし、動画内の重要な区間を特定して活動にラベルを付けるよう指示します。プロンプトでは、理解を深めるために必要であれば、動画の個々のフレームやサブセグメントを見るようにも指示しています。

Argonはシミュレーションで新しいデータを生成し、汎用のビジョン・言語・行動(VLA)モデルの性能を改善できます。実物の机上を写した1枚のRGB写真から、較正済みのMuJoCoシミュレーションツインを自律的に構築し、新しいタスクを定義して、閉ループのモーションジェネレータを合成することで、シミュレーションでドメインランダム化した4,500以上のエピソードを収集しました。これにより、実機ロボットの成功率は56%から75%に上がり、完了時間は35秒から24秒に短縮されました。

入力として、2本の7-DoF Franka FR3アーム(平行ジョウグリッパー付き)と4台のRGBカメラを備えた双腕ロボットの作業空間を上方から写したRGBカメラ写真1枚(`real_tabletop_photo.jpg`)が与えられ、その作業空間はフォトブースのパーティー小物が並べられた机に面しています。このプロンプトは、まず9個すべてのパーティー小物について、実世界の寸法・色・静止姿勢に合わせた手続き的な3Dメッシュと複合MuJoCo衝突プリミティブを再構築し、柔らかいぬいぐるみの帽子にはバネ付きヒンジの変形可能な王冠パネルを含めるよう求めます。次に、ピックアンドプレース、立て直し、方向を指定した押し、空中でのハンドオーバー、双腕のすくって押す動作、パイプライン化したテーブル片付けからなる、77タスクの単腕・双腕カリキュラムを定義するよう求めます。最後に、±10 cmの姿勢ランダム化にわたって閉ループの逆運動学(IK)軌跡ジェネレータを合成し、MuJoCo物理で`reward == 1.0`を検証したうえで、VLAのファインチューニング用に4,500以上のエピソードをエクスポートするよう求めます。

単純な6-DoFアームでは、Argonは試行と自己省察を通じて、ピックアンドプレースタスクの実行速度と配置精度の両方を反復的に自己改善します。Stage 1(物体の計測)は、物体を見つけて動作全体を計画する段階で、この段階ではロボットアームは動きません。Stage 1のAでは、ユーザーがアームの前のテーブルにLEGOブロックと箱を、片側に木箱を置いたと伝え、画像内と実世界でブロックと木箱の位置を求めて、注釈付き画像で示すよう指示します。Stage 2(ブロック上方でのホバーと手首カメラによる検証)では、グリッパーをブロックに触れずにブロックの上に置き、アームの位置とビジョンが一致していることを手首カメラで検証します。実行は両方のカメラで記録します。Stage 3の3(フィードバックに基づく最適化)では、実行が成功したら、安全限界(規則R5)の範囲内で少なくとも2倍速くするよう指示します。

Argonは、論文1本につき1つのプロンプトで、ロボット制御論文の原稿と、公開されていればそのチェックポイントを読み、物理モデルと閉ループ制御器を自己完結型のMuJoCo WebAssemblyブラウザラボに移植し、ヘッドレスChromiumで検証します。移植対象は、DeepLocoの7ネットワーク階層型ロコモーションや、HUSKYの、強化学習手法PPOによる50 Hzのアクターから、全身モデル予測制御(Whole-Body MPC)のWeb Worker iLQRまで及びます。論文再現プロンプトの項目1では、論文と同じ物理タイムステップ、アクチュエータゲイン(kp/kv)、トルク制限、運動学的拘束をMuJoCo XMLで一致させ、論文と同じ制御レートで、実際のニューラル推論またはWeb Worker iLQRをJavaScriptで実行します。項目2では、`index.html`(カメラプリセット、ライブのテレメトリプロット、外乱注入を備えたSpatial UIシミュレータ)と、`scrollytelling.html`(インタラクティブなビジュアルエッセイ)を作ります。項目3では、ヘッドレスChromium(Playwright)の検証ループを実行し、コンソールエラーが0件であることと、300フレーム以上でタスク進捗が0でないことを確認します。

目標と利用開始の案内

Gemini 4 Argonは、物理的AGIへの道を加速する重要なマイルストーンです。この中核的な知能を築くことで、人間と並んで複雑な課題を解決できるロボットを可能にすることが目標です。

Gemini 4 Argonは10月13日からGoogleの開発者向けプラットフォームで構築に利用できます。`gemini-4-argon`はInteractions APIで利用でき、`google-genai` SDK全般で初日からサポートされます。