NVIDIAは、物理AIシステムが現実世界を理解しシミュレートするのに役立つワールドモデル(world models)の開発を支援するため、Cosmosプラットフォームを拡張しました。この拡張により、新しい学習ツール、シミュレーション用チェックポイント、およびCosmos Data Factoryのブループリント(blueprint)が追加されました。

Cosmosプラットフォームは6つの異なるオープンモデルのリーダーボードで上位5位に入っています。ワールドモデル開発者に対し、最先端のオープンモデルに加えて、学習データを拡張し、モデルを適応させ、挙動をテストし、デプロイ前に性能を最適化するためのデータ、学習、最適化のツールとレシピ(recipes)を提供します。

Data Factoryとブループリント

ワールドモデルの構築は、マルチモーダルでマルチセンサリー(multisensory)なデータから始まります。Cosmos Data Factoryは、物理AIの学習用に、データのラベル付け、キュレーション、拡張、評価を大規模に行うためのツールとスキルをまとめたものです。さらに、エージェント的なスキル(agentic skills)により、データのキュレーション、処理、合成データ生成を高速化します。

動画の学習用データセットをキュレーションするGPU高速化ソリューションであるCosmos Curatorは、マルチモーダル・マルチセンサリーの入力と処理ブロックに対応しました。Cosmos Data Factoryは5つのクラウドネイティブなブループリントを提供しており、GitHub、Microsoft Azure、Nebius、CoreWeaveを通じて利用できます。そのうちAutonomous Vehicle Dataset Generationは、運転データをキュレーションしてラベル付けし、さらに撮影が難しいシナリオの合成例を加えて学習のカバレッジを広げます。Image Attribute Augmentationは、物体の見た目を変化させて画像検索を改善します。Event Video Generationは、静止画を、まれな事象や危険な事象の合成動画に変換します。Defect Image Generationは、検査モデル向けに、プリント基板、金属、ガラスの欠陥画像を生成します。Video Data Augmentationは、既存の映像のシーン構造を保ったまま、天候と照明を変更します。

Cosmosを活用する企業の事例

複数の企業が、物理AI(physical AI)の開発ワークフローを速めるために、すでにCosmos Data Factoryのブループリントを活用しています。Porscheは、Microsoft Azure上のVoxel51経由でCosmos Data Factoryを使い、Volkswagen Groupの各ブランドで共有する自動運転車（AV）データのデータのフライホイール(data flywheel)の開発を主導しています。Porscheは、Cosmos Data Factoryを基盤とするVoxel51上で、自動運転車の映像データの検索と拡張を行っています。この取り組みにより、繰り返しの実車テスト走行を最大90%、開発サイクル時間を最大85%減らせると見込まれています。

ANYboticsは、Cosmos Data Factoryのブループリントを用いて1,500本超の合成動画クリップを生成しました。ANYboticsは実世界のデータをキュレーションし、Encordのプラットフォームで出力を検証することで、産業用点検ロボットが施設の巡回の合間に生じる液体のこぼれなどの変化を認識できるように学習させます。コンピュータビジョン企業のUltralyticsは、実画像とCosmos Data Factoryで生成した的を絞った合成欠陥を用いてYOLOモデルを再学習させ、欠陥の位置特定と再現率を改善しました。

ロボティクス研究ラボのMicroAGIは、一人称視点の操作(egocentric manipulation)に特化したワールドモデルを開発するため、人間が物を操作する動画でCosmos 3をpost-trainしました。さらに、320億パラメータのreasonerを、精度の低下なしに80億パラメータのNanoモデルへ蒸留しました。

開発者はRoboflow上で、データにラベルを付け、特定の環境とタスク向けにCosmos 3をpost-trainできます。そのモデルをRoboFlowのホスト環境またはオンプレミスのNVIDIA GPUにデプロイすれば、工場や倉庫に動画推論(video reasoning)を導入できます。

NVIDIAはGTC Berlinにおいて、Cosmos 3とともに、Cosmos Frameworkの学習・最適化・デプロイ用のツールとレシピをエージェントスキルとして、より多くのオープンモデルへ拡張しました。これにより、ワールドモデル開発者は実験からデプロイまでをより速い経路で進めることができます。学習データを準備したあと、開発者は自分のアーキテクチャを学習させるか、事前学習済みモデルから始めることができます。開発者とエージェントは、GR00T、Alpamayo、QWEN、Pi0.5などのオープンモデルや、互換性のある他のHugging Faceモデルを、ファインチューニングと強化学習で適応させられるようになりました。さらに、蒸留と量子化でモデルを最適化し、高性能な推論でデプロイできます。

シミュレーション向けの新しいCosmos 3 Nanoモデルのバリアントにより、開発者は、再現可能で撮影が難しい、マルチビュー・マルチセンサーのシナリオで自律ポリシーをテストできます。このバリアントに付属するコードを使うと、開発者はモデルを適応させ、自動運転車と双腕ロボット(bimanual robots)の自前のポリシーを、実世界でのテストの前にインタラクティブなシミュレーションで学習・評価できます。

開発者は、更新されたNVIDIA Cosmos 3 NIMマイクロサービス(NIM microservices)で中核のCosmosモデルをデプロイできます。検証済みの構成では、品質の低下なしに最大2倍高速な推論(inference)が得られ、連続的な動画解析によりサブ秒のアラートが可能になります。NVIDIAはこれらのツールとあわせて、Cosmosモデルに関する取り組みを通じ、基盤技術の前進を続けています。

動画検索・要約ブループリントと導入例

Cosmos NIMマイクロサービス上に構築された新しいNVIDIA Metropolis Blueprint for video search and summarization(VSS) 3.3は、1つのプロンプトから効率的なビデオAIアプリケーションを作り出します。同じGPUで、チームがより多く、40%増しの動画ストリームを監視できるよう支援します。ADNOCは、CosmosとNVIDIA Metropolis VSS Blueprintで構築されたFogsphereのエージェント型プラットフォームMistIQを使い、65拠点で安全上の危険をリアルタイムに検知しています。

Fogsphereは、まれなイベントについてCosmos Data Factoryで合成学習データを生成しています。これにより、危険な状況を物理的に再現することなく検知を改善できます。

Cosmosプラットフォームは完全にモジュール式でオープンです。開発者は、Cosmos Data Factoryで学習用データセットを生成し、Cosmos Frameworkでワールドモデルを学習・適応させ、対応するCosmosモデルをNIMマイクロサービス経由でデプロイできます。