NVIDIAがCoRLでGR00T 2を含むロボティクス技術を発表、Isaac Lab 3.0も公開

テキサス州オースティンで今週開催されるConference on Robot Learning(CoRL)では、シミュレーションがロボットに教える対象が歩行などから繊細な操作へ移っていることを指すこの移行が中心的な話題となっており、エージェント型ロボティクス(agentic robotics)の台頭と並んでいます。エージェント型ロボティクスは、フロンティアエージェントを統合して、物理的なロボットシステム向けの解釈可能なコードを作る新しいパラダイムです。

ロボットの自律性を次の段階に進めるには、ロボットが周囲を知覚し、自分の行動が環境をどう変えるかを予測して、複雑な複数ステップのタスクを高い精度で実行する必要があります。ワールドアクションモデル(world action model)は、まさにそれを可能にします。

GR00T 2の発表と性能・活用例

NVIDIAはCoRLにおいて、NVIDIA Cosmosをベースに構築されたオープンなフロンティア・ワールドアクションモデルであるGR00T 2を発表しました。

GR00T 2は、多様なロボットデータと人間データで訓練されており、その中にはNVIDIAのオープンソース(open source)の人間エゴセントリックデータ(egocentric data)10万時間が含まれています。GR00T 2は、NVIDIAがオープンソースで公開する100,000時間のエゴセントリックデータを含む多様なロボットデータと人間データによって学習されており、巧緻な操作(dexterous manipulation)のスキルをロボットが習得することを可能にします。NVIDIAがCoRLで発表したGR00T 2は、NVIDIA Cosmosを基盤とするオープンなフロンティアのワールドアクションモデルです。このモデルは、NVIDIAがオープンソースで公開している人間のエゴセントリックデータ100,000時間を含む多様なロボットデータと人間データで学習されています。GR00T 2は、評価した50タスクのうち40タスクを、タスク固有のデモンストレーション(demonstration)なしで少なくとも1回は完了しました。

このモデルは、ロボットが巧緻な操作スキルを学べるようにします。

GR00T 2は、人間のデモから学習し、ロボットのデモンストレーションなしで、異なるロボット本体の間でスキルを転移できます。

GR00T 2は、少ないデータでの汎化（generalization）において、タスクごとにデモ1件だけで50タスク平均71%の成功率を達成し、デモ5件では95%に上がりました。

GR00T 2のエージェント制御(agent control)では、AIエージェントがGR00T 2のアプリケーションプログラミングインターフェースと補助ツールを使い、スキルを順番に実行したり、エラーから回復したりできます。

GR00T 2は現在、RoboCasa365、RoboLab、RoboDojo、MolmoSpacesの各ベンチマークにおいて、視覚言語行動モデルとワールドアクションモデルのすべてのカテゴリを通じて上位3モデルに入っており、複数のリーダーボードで首位を獲得しています。

NVIDIAは、Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics、University of Washingtonなどのパートナーと協力し、自社の技術的な進歩をより広いロボティクスコミュニティに届けようとしています。NexuniはGR00T 2について、ロボットによる洗濯物の取り扱いで試験を行っており、Foxconnはサーバー製造の工場自動化にGR00T 2を適用しており、Siemensは産業用途の各種ユースケースで評価しています。MicroAGIは、強化学習でポストトレーニングしたGR00T 2を使い、YAMロボットアームでEthernetケーブルの交換を行っています。同社のエージェント型ロボティクスのアプローチは、ポリシーを訓練するシミュレーション環境の作成と較正(calibration)を、Isaac Lab 3.0とNewtonを使って自動化します。

RoboTTTとVideo to Dataを発表

NVIDIAはConference on Robot Learning(CoRL)において、ワールドアクションモデル、シミュレーションツール、ベンチマーク、エージェント型ワークフローなどの新しいオープンなロボティクス技術を発表しています。また、NVIDIAの2本の論文が、Best Paper Awardsの数千件の投稿の中から選ばれた6件のファイナリストに入っています。これらの進歩により、研究者はロボットに複雑なタスクを訓練させ、変化する条件の下で性能を評価し、失敗をその後の学習に生かせます。研究室でのデモから産業への展開に進むのに必要な、精度、適応力、自律性を高めます。

NVIDIAは、RoboTTT: Context Scaling for Robot Policiesというロボットモデルと訓練レシピを提示しています。これは、推論レイテンシーを増やさずに、visuomotorコンテキストを最先端のポリシーより3桁大きく拡張するものです。有能なロボットを訓練するには多様なデータが必要であり、NVIDIAのオープンなワークフローとモデルは、データ収集とアノテーションのためのより良いツールを研究者に提供します。事前学習済みモデルはロボットに中核となるスキルを与えますが、シミュレーションでは、研究者が物理ロボットに展開する前に、スキルを大規模に訓練・改良・評価できます。

NVIDIAは、ロボット学習用データセットを作る研究者向けに、人間の動画をシミュレーション上のロボットのデモンストレーションに変換する新しいオープンなVideo to Dataワークフローを提供しています。この改良を研究者に呼びかけるチャレンジも用意されています。NVIDIA EgoHandは3Dの手の動きを再構成するオープンモデルで、Noitom Roboticsのデータで訓練されており、CoRLでデモが行われています。公開後2週間でHugging Faceのダウンロード数は4万件を超えました。

シミュレーションは、ロボットが歩く・転がる・跳ねることを学ぶ場として長く使われてきましたが、現在は、ギアの位置合わせ、ケーブルの接続、小さな部品の組み立てなど、より繊細な操作が必要な作業を研究者がロボットに教えるためにも使われています。NVIDIA Isaac Labはオープンソースのロボット学習フレームワークであり、シミュレーションでのスキル訓練・評価の基盤となります。

Isaac Lab 3.0では、研究者はエージェントを使ってシミュレーション対応アセット(simulation-ready assets)つきの訓練環境をすばやく設定でき、NVIDIA PhysXとNewtonの物理ソルバー(physics solver)を切り替えられます。さらに、知覚ベースの訓練用にレンダラーを選べるほか、GR00Tのような基盤モデル(foundation model)に新しい強化学習の事後訓練ライブラリ(reinforcement post-training library)を適用できます。Isaac Labは、NewtonとNVIDIA PhysXの両方でロボットのシミュレーションに対応しています。

学習したスキルをシミュレーションから実ロボットへ移すには、正確な物理が重要です。オープンソースの物理エンジンNewtonとの統合が深まり、Isaac Labはケーブルや布などの変形物体と、多数の関節が相互作用するロボットハンドのような複雑な多関節系をモデル化できるようになりました。Newtonとの統合により、ロボットの把持でイチゴがどのように変形するかをシミュレートできます。Isaac LabとNewtonを組み合わせると、正確な物理と規模を両立でき、研究者は数千台のシミュレーション上のロボットを並列で訓練できます。視覚ベースの巧緻な操作のベンチマークにおいて、Newtonを使うIsaac Lab 3.0は、PhysXを使うIsaac Lab 2.3の最大2.5倍の訓練スループットを達成しました。

CoRLにおいて、Skild AIはNewton上に構築された新しい剛体物理ソルバー(rigid-body physics solver)であるSTEEL(Scalable Throughput-optimized Engine for Embodied Learning)を発表しました。STEELはIsaac Labでのロボット訓練を加速します。

Flexionは、推論(reasoning)と全身操作を組み合わせたロボットインテリジェンスモデルReflectの訓練に、Isaac LabとNewtonがどう役立つかを披露しました。Flexionは、Isaac Labを使った強化学習(RL)にNewtonを使っています。FieldAIは、NVIDIA Omniverseライブラリ上に構築されたIsaac LabおよびIsaac SimとNewtonを使い、整備されていない実世界環境に展開するロボットポリシー(policy)を訓練・検証しています。Dyna Roboticsは、Isaac Labでの並列シミュレーションが、倉庫・ホテル・フードサービスで働く半ヒューマノイドロボットTakuの全身コントローラの訓練にどう役立つかを実演する予定です。

Walden Roboticsは、製造・物流向けの仮想環境で汎用ロボットを訓練・評価するために、Isaac Simのフォトリアルなレンダリングを使っています。Dexmateは、コーディングエージェントがVegaロボットで実行する前に、Isaac Sim上で操作戦略をリハーサルして改良できるかを探っています。

AlphaNISTは、Isaac Labで構築されたモデルであり、効率的な練習が精度に結びつきうることを示しています。単一のポリシーがNIST Assembly Task Boardの20タスクすべてを学習し、成功か否かの信号だけでミリメートル規模の部品を操作します。この単一のポリシーは、訓練成功率が98%超に達し、タスクごとに別々のポリシーを使った場合の81%と比べ、GPU時間は約39分の1で済みます。Isaac Labを使ってNIST Assembly Task Board上の20の精密タスクにわたって単一のロボットポリシーを訓練するAlphaNISTの結果の背景には、University of WashingtonとNVIDIAによるSuccess-Guided Sampling(SGS)があります。SGSは、ポリシーが約半分の確率で成功するタスクに練習を集中させ、まだ学習途中のスキルへ訓練を向ける手法です。SGSを使うと、ロボットの訓練は100万を超える並列環境にまで拡張できます。

University of Texas at AustinのSchool of ComputingとTexas Roboticsは、Isaac SimとIsaac Labでロボットスキルをシミュレーション上で訓練しており、学生は物理ハードウェアが使える前に開発を始められます。NVIDIA Isaac Lab-Arenaは、規模を拡大して行うポリシー評価のためのオープンソースのフレームワークです。開発者は、多様で再現可能な評価を組み立て、数千通りのバリエーションにわたってポリシーを並列に実行できます。Isaac Lab-Arenaによる評価結果の分析では、どの条件が失敗を引き起こすかが分かるため、研究者は次の訓練の実行で何を直すべきかを把握できます。NVIDIAは、最新バージョン0.4のデベロッパープレビューをCoRLで公開します。

新ベンチマークとエージェント型ロボティクス

DexBenchとVABARは新しい2つのオープンベンチマークで、Isaac Lab-ArenaとNewtonを使い、産業タスク全般でロボットの器用さ(dexterity)と適応力を測るよう設計された最初のものの一つです。DexBenchはRLWRLDがNVIDIAと協力して開発したベンチマークであり、NVIDIA Isaac Lab-Arenaを使って構築されています。DexBenchは、小売、物流、製造、ホスピタリティにまたがる4つのシーンで15のタスクを備え、物体、空間、物理のバリエーションにわたる汎化をテストします。Genesis AIやmimic roboticsなどの業界パートナーが、アーリーアクセスでDexBenchを評価しています。チームは、Bifrostがロボティクスのシミュレーションを大規模に行うために提供する評価基盤Manifold上でDexBenchを実行でき、設定作業は不要で、失敗分析の機能が組み込まれており、初期評価向けの無償のクレジットも用意されています。VABAR(Variational Automation Benchmark for Agentic Robotics)はUC BerkeleyとNVIDIAによるベンチマークで、6つの産業タスクでロボットを評価します。各タスクには標準化されたバリエーション、難易度のティア(tier)、成功指標があります。シミュレーション上の工具の仕分けタスクが、VABARがロボットの操作スキルを産業ワークフロー向けにどう評価するかを示す例になっています。

ロボットがタスクを完遂するには、複数のスキルを連携させ、問題が発生した際に適応する必要があります。こうした複数ステップのタスク向けに信頼できるプログラムを作ることは、現在も課題となっています。エージェント型ロボティクスは、この課題の解決に役立ちます。

UC Berkeleyが開発した新しいGraph-as-Policy(GaP)フレームワークは、エージェントを使用して個々のスキルをロボットプログラムにつなぎ合わせます。このGaPは、エージェントとシミュレーションを使って、バーを拭く動作などの協調した動作に個々のロボットスキルをまとめます。エージェントはNVIDIA Isaacのオープンなシミュレーション技術を用いてこれらのプログラムをテストし、失敗に基づいて改良を行います。また、GaPは、研究者がより少ないデータで開発をスケールさせるのに役立ちます。プログラムは解釈可能なまま保たれるため、エンジニアがデプロイ前にレビューし検証することが可能です。UC Berkeleyのロボティクス教授でVABARとGaPプロジェクトのリードの一人であるKen Goldbergは、「私にとって、エージェント型ロボティクスは1995年のインターネット以来、最もエキサイティングな技術的進展だ」と述べています。

Ambi Robotics、Bosch Research、Siemensは、いずれも、さまざまな産業シナリオにわたるエージェント型ロボティクスのワークフロー向けに、GaPを検討しています。