Skild AIは、先週公開された新しいロボット基盤モデル(robot foundation model)であるS1を開発しました。これまでに見たことのない長時間(long-horizon)のタスクを、1本のビデオデモンストレーションから学習するよう設計されています。ビデオを入力としてタスクを理解し実行し、その際にウェイト(weights)の更新もタスク固有のポストトレーニング(post-training)も行いません。この手法はin-context learningと呼ばれます。

固定作業向けロボットの課題とNVIDIAとの協業

製造現場、倉庫、および生産ラインが固定されたままであることはまれであり、タスクの変化やレイアウトの変更、新製品の到着が発生します。ほとんどの産業用ロボットは固定された作業向けに作られているため、新しい製品、工程、またはレイアウトごとに、さらなるデータ、再トレーニング、および検証が必要になります。多くのロボットは、大幅な再プログラミングなしにはこれらの変化に対応できません。

Skild AIは、NVIDIAのAIインフラ上でS1を構築して研究を行っており、これは合成データ生成、モデルの訓練、シミュレーション、実世界でのフィジカルAI(physical AI)の展開にわたる幅広い協業の一部です。Skild AIとNVIDIAは、適応力のあるロボット知能を研究室から工場やその他の動的な運用環境へ移すことを目指して協力しています。

Skild AIの共同創業者兼CEOであるDeepak Pathakは、ロボティクスで起きた飛躍的な変化（step change）は、事前のプログラミングではなく経験による学習であると述べています。また、NVIDIA Isaac LabとNVIDIA Cosmosの技術は、Skildのロボットが多くのシナリオやエンボディメントにわたって学習するのに必要な、スケーラブルで多様な経験をSkildが作るのに役立つとも述べています。

S1の仕組みと実行できるタスク

S1では、オペレーターが目的のタスクのビデオを録画し、プロンプトとしてモデルに与えます。モデルは、デモで示された意図、物体、手順を解釈し、目の前のロボット向けの動作に変換します。このプロセスでは再トレーニングは不要であり、事前学習データセット(pretraining dataset)に含まれないタスクであることも多くあります。

S1は、植物の鉢植え、パンケーキ作り、ハンドドリップコーヒーの抽出、キット組み立てなど、最長10分に及ぶ未経験のタスクを実行できます。これらのタスクは数十の操作ステップにわたることがあり、ロボットはこれまで実行したことのない順序でスキルを組み合わせる必要があります。

Skild AIは、最初の商用展開から10か月後に、年間売上ランレートが1億ドルに達しました。この間に、製造、物流、検査、セキュリティ、食品調理などの用途にわたる60件を超える展開パートナーシップを築いています。顧客との契約で許される場合、Skildの商用展開で得られた経験は、より広範なモデルに反映でき、今後の展開を加速するのに役立ちます。

ある植物の鉢植えのテストでは、Skild AIのチームはデモの録画から実機での自律実行まで、わずか11分で到達しました。S1は、物体が動いたときの調整やエラーからの回復、明示的にプログラムされていない順序でのスキルの組み合わせも可能です。

Skildは、ロボットに短いビデオ例を1本見せることが、約380件の実機での学習例を与えることと同程度に有用になりうると見積もっています。人がそれらの例を手作業で収集する場合、50〜100時間かかる可能性があります。S1は、新しいタスクをオペレーターが直接デモンストレーションできるようにすることで、変更のたびに新しいデータセットや訓練の実行を必要とせず、新しい要因に対してロボットを絶えず再訓練する必要があるサイクルを断ち切ります。

Skild、NVIDIA、およびFoxconnは、NVIDIA Blackwellシステムの高精度な組み立てのために、双腕マニピュレーターにSkild Brainを導入しています。この取り組みはすでに工場の現場で動いています。

実演されたワークフローの1つでは、ロボットがバスバー(busbar)とリミットブロック(limit block)を取り付け、16本のネジを締め、複数ステップのタスクの中で外乱に適応します。この作業には精密な動作、接触を考慮した制御(contact-aware control)、シーケンスの追跡、およびシーンが計画と異なる場合のリカバリーが必要です。

NVIDIAの技術による訓練とシミュレーション

NVIDIAのアクセラレーテッドコンピューティングは、シミュレーション、人間の動画、遠隔操作(teleoperation)、そして許可される場合は導入データを使って、Skildが共有のロボットの頭脳(robot brain)を訓練するための規模を与えます。NVIDIA Cosmosのオープンな世界基盤モデル(world foundation model)は、訓練データの多様化と、動画から構造化された記述への変換に役立ちます。Cosmos Curatorは、データへのアノテーション、フィルタリング、整理を大規模に行うのに役立ちます。

Skildは、実世界に導入する前にロボットの頭脳を訓練・検証するため、NVIDIAのオープンなシミュレーションフレームワークを広範に使っています。NVIDIA OmniverseライブラリとNVIDIA Isaac Simフレームワークは、データ生成、エッジケースのテスト、挙動の検証のための、物理ベースの仮想環境を提供します。Skildは、オープンでモジュール式のロボット学習フレームワークであるIsaac Labでの強化学習(reinforcement learning)によって、ロボットの頭脳のスキルをさらに強化しています。

物理エンジンNewtonを基盤とするIsaac Labは、力、接触、衝突、圧力などさまざまな物理パラメータをSkildのエンジニアが正確にモデル化するのに役立ち、シミュレーションと現実のギャップ(simulation-to-reality gap)を減らします。SkildとNVIDIAは、ロボットが固体の物体に物理的にどのように触れ、つかみ、操作するかを素早く正確にモデル化する、GPUアクセラレーテッドの新しいシミュレーションソルバーを共同開発しており、このソルバーは近くNewtonの一部としてすべての開発者に提供される予定です。モデルが本番に近づく段階では、NVIDIA Nsightツールがエンジニアによる訓練中の性能ボトルネックの発見に役立ち、NVIDIA TensorRTソフトウェア開発キットは、ロボットが物理世界で素早く反応できるよう推論を最適化します。これらの技術は、データ、シミュレーション、訓練、導入の各段階を別々のシステムとして扱わず、つなげます。