物理AIは、見た目だけでなく結果を理解し予測する必要があります。ワールドモデルは、物理環境がどう振る舞うか、次に何が起こりうるか、続くどの行動が妥当かを学びます。物理に基づいたワールドデータと行動データを生成し、将来の状態をシミュレートできるほか、チームがロボット、自動運転車、vision AIシステムに向けて特化できる基盤にもなります。オープンなワールドモデルは、すでに学習データの生成、ポリシーのテスト、物理AIシステムの特化に使われています。NVIDIA Cosmos 3は、これらの能力をオープンなモデルファミリーにまとめたもので、ベンチマークでトップクラスの結果を示しており、ロボティクス、自動運転車、vision AIで採用されています。
NVIDIAは7月に、200以上の企業や団体とともに「Open Weights and American AI Leadership」という公開書簡に署名しました。この書簡は、AIのリーダーシップは単一のフロンティアモデルではなく、オープンなエコシステムがあらゆる分野に行き渡るかどうかで測られると主張しています。
オープンモデルが物理AIで重要な理由
オープンモデルとは、誰でもダウンロード、検査、改変し、自社のインフラで実行できるモデルです。物理AIではあらゆる展開が特化(specialization)の問題であり、オープンモデルが物理AIほど重要になる分野はありません。汎用モデルは、チーム固有のロボット、センサー、運用環境を一度も見ていません。そのギャップを埋めるには、モデルのウェイト(weights)へのアクセス、適応を許可するライセンス、ポストトレーニングに必要なツールが必要です。
データ課題とワールドモデル、シミュレーション環境
物理AIの背後にあるデータは、必要な規模で集めるのが難しく高コストです。まれな事象やロングテールのシナリオは、安全に繰り返し再現することが特に難しい場合があります。
ワールドモデル(world model)(world models)は、大規模なマルチモーダルのシナリオから物理的な関係を学ぶことによって、より有用なデータを可能にします。天候・照明・物体・軌跡が異なる、より多様な環境も可能にします。さらに、特定のロボット、車両、センサー構成、タスク、運用環境に合わせて適応させるための、より優れた基盤にもなります。
物理AI(physical AI)のワークフローにおいて、モデルの特化は一部にすぎません。チームには、データを生成し、シミュレーションを実行し、挙動をテストするための環境も必要です。NVIDIA Agent Toolkitの一部であるNVIDIA Omniverse librariesは、シミュレーション対応のワールドを構築するための構築済みの機能を提供します。物理AI(physical AI)チームは、実世界に展開する前にシステムの訓練、テスト、検証にこれを使用できます。
開発者がシミュレーション対応の環境を構築するのを、Omniverse librariesが支援します。OpenUSDは、デジタルツイン、シミュレーション、合成データ生成のワークフローにわたって、複雑な3Dデータを構成・再利用・交換するためのオープンなフレームワークです。OmniverseとOpenUSDを併用すると、アセット、センサー構成、環境条件が変わるたびに積み上がりかねない重複作業を減らせます。
Cosmos 3ファミリーの3モデルとライセンス
Cosmos 3ファミリーには、用途に応じた3つのモデルが含まれています。高忠実度のワールドモデル向けのCosmos 3 Super(64B)、効率的な推論とポストトレーニング(post-training)向けのCosmos 3 Nano(16B)、そしてオンデバイスの視覚推論とロボットポリシー(robot policy)のデプロイ向けのCosmos 3 Edge(4B)です。Cosmos 3 Edgeはエッジ GPUで動かせるほど軽量であり、NVIDIA RTX GPU、NVIDIA DGXシステム、およびJetson Thorプラットフォームを含むNVIDIA Jetsonにデプロイできます。
NVIDIA Cosmos world foundation modelsは、Linux FoundationのOpenMDW 1.1ライセンスで提供されており、チームは自身のデータとハードウェアを用いてモデルをポストトレーニングできます。特化が必要な場面において、オープン性は実用的な技術要件となります。NVIDIA Cosmos 3 Superは、視覚理解を評価するVANTAGE-Benchで最上位にランクされたオープンモデルです。NVIDIAの物理AI(physical AI)の構成には、Cosmosのほかに、ロボティクス向けのIsaac GR00T、自動運転車向けのAlpamayo、vision AI向けのMetropolisが含まれます。
ベンチマーク結果とCosmos 3の使い方
ベンチマーク評価全体で、Cosmos 3は、Artificial Analysisのオープンウェイト(open weights)のtext-to-imageおよびimage-to-video生成、PAI-Benchの世界生成(world generation)、Physics-IQのimage-to-videoカテゴリで、それぞれ1位にランクされています。ロボットポリシーについては、RoboLabで1位にランクされています。
NVIDIA Cosmos 3は、mixture-of-transformersアーキテクチャで構築された、オープンな物理AI基盤のフロンティア・オムニモデルであり、視覚推論、ワールド生成、行動予測を組み合わせています。開発者は1つのモデルファミリーで、シーンの理解、合成データの生成、将来の状態のシミュレーション、および特化型のworld action modelの構築ができます。能力ごとに別々のモデルを組み合わせて保守する代わりに、Cosmos 3を使えます。使い方は、視覚言語モデルとして、将来のワールドの状態を予測し大規模な合成データを生成する物理に基づいたワールドシミュレーターとして、またはworld action modelの基盤としてです。
採用企業とCosmos Coalitionの拡大
さまざまな業界の開発者が、物理AI(physical AI)アプリケーションの構築にNVIDIA Cosmosを使用しています。ロボット分野ではDoosan Robotics、LG Electronics、Samsung Electronics、Skild AIが、自動運転車分野ではLi Auto、Xiaomi、Afariが、産業AIやsmart spaces向けのvision AIエージェント分野ではCentific、Fogsphere、Linker Vision、Milestone Systems、Yuanが挙げられています。
NVIDIA Cosmos Coalitionは、ワールドモデルの開発者、AI開発者、物理AIのリーダーが集まり、モデル、研究、評価手法を提供する枠組みです。この取り組みは、開発者がNVIDIA Cosmosを土台に物理AIアプリケーションを構築していることを拡張するものです。
NVIDIAは最近この枠組みを日本に拡大しました。日本ではロボティクスと製造業のリーダーが、この枠組みに参加して、工場、物流、農業、建設、ヘルスケア、輸送向けのオープンなワールドモデルを開発する意向を示しています。
Cosmosを使った各社の実装とNVIDIA Cosmos Coalitionによる協業が合わさることで、オープンなワールドモデルは、ロボット、自動運転車、vision AIシステムにわたる物理AIの適応可能な基盤として確立されつつあります。なお、NVIDIAはこの内容を、開発者、3D実務者、企業がOpenUSDとNVIDIA Omniverseの最新の進歩を使ってワークフローを変革する方法に焦点を当てたシリーズ『Into the Omniverse』の一部として公開しています。