NVLink FusionがXPUをNVIDIAのAIインフラに接続し市場投入までの時間を短縮

大規模にインテリジェンスを生成するAIファクトリーは、継続的に稼働します。AIファクトリーの経済性は、毎秒トークン数、ワットあたりトークン数、トークンあたりのコスト、稼働率(utilization)、およびアップタイムといった、実際に届けられる出力によって決まります。大規模にインテリジェンスを生成するには、個々のアクセラレータの寄せ集めではなく、ファクトリー全体として設計・構築されたAIインフラが必要です。

カスタムXPU構築の課題と求められる条件

ハイパースケーラーとAIネイティブ企業がカスタムXPUを構築する場合、XPUの設計だけでなく、スケールアップ/スケールアウトのネットワーキング、ラックスケールアーキテクチャ、本番のファクトリーソフトウェア、および堅牢なサプライヤーエコシステムを含むAIプラットフォーム全体の設計・開発を考慮しなければなりません。AIファクトリー規模では、この道筋は複雑でコストがかかり、XPUを素早く市場に出すうえでの根本的な障害になっています。この制約を打破するには、カスタムXPUを実績ある成熟したインフラと組み合わせる必要があります。構築者は、最も重要な部分にイノベーションを集中させ、残りは確立された技術を活用できます。

兆パラメータ級モデルの実行、mixture-of-experts アーキテクチャ、エージェント型AIといった現代のワークロードでは、スケールアップファブリックが追いつけないと、稼働率が下がり、トークンあたりのコストが上がります。スケールアップネットワーキングのソリューションは、3つの観点で優れている必要があります。

NVLink Fusionのスケールアップ性能

NVLink Fusionは、XPUをNVIDIAの世界トップクラスのAIインフラに接続し、セミカスタムのAIファクトリーにおいて性能を高め、市場投入までの時間を短縮し、リスクを軽減します。また、XPUをNVIDIA NVLinkのスケールアップドメインに取り込みます。第6世代のNVLinkは、72-XPUドメイン全体で高帯域・低レイテンシのネットワーキングを提供します。 XPUからXPUへの転送のエンドツーエンドのレイテンシは、市販のEthernetをベースにした代替ソリューションより3x低く、パケットレートは10x高くなります。

エンドツーエンドの性能面では、NVIDIA GB300 NVL72 システムは、NVL72 を使わない構成と比べて、大幅に高いスループットとより良いインタラクティビティの実現に役立ちます。さらに、NVLinkの将来のロードマップ構成には、最大1,152個のアクセラレータのドメインと co-packaged optics が含まれる予定です。

データセンター展開の作業とエコシステム

カスタムXPUをデータセンターに展開する際の作業には、高速なCPUおよびスケールアップのインターフェースの統合、スケールアップネットワークソリューションの調達と検証、コンピュートトレイとスイッチトレイの設計が含まれます。カスタムXPUを開発するチームは、XPUのイノベーションをデータセンターへの展開につなげる作業の労力と複雑さを過小評価しがちです。理想的なプラットフォームは、高速なCPUおよびスケールアップのインターフェースの統合、スケールアップネットワークソリューションの調達と検証、コンピュートトレイとスイッチトレイの設計、冷却と電力を含むラックアーキテクチャの設計と検証、セキュリティとストレージの統合、そして複雑なサプライヤーエコシステムの管理のすべてを提供し、チームが的を絞ったイノベーションに集中しつつ、それ以外には実績のあるソリューションを使えるようにします。

NVLink FusionにはNVIDIA NVLink-C2Cが含まれ、XPUをNVIDIA Vera CPUまたは他のエコシステムのCPUに接続します。 PCIeインターフェースと比較して最大6倍のエネルギー効率を実現し、エージェント型システムにおいて制御と計算の間の障壁を取り除くのに役立ちます。 Intelのデータセンターシリコンエンジニアリング担当バイスプレジデント兼ゼネラルマネージャーであるTim Wilsonは、NVLink Fusionによって顧客が、重視するワークロードに最適なCPUアーキテクチャ、性能レベル、ソフトウェア機能を選べるようになると述べています。

カスタムXPUをデータセンターに展開する際の作業には、冷却と電力を含むラックアーキテクチャの設計と検証、セキュリティとストレージの統合、複雑なサプライヤーエコシステムの管理も含まれます。NVIDIA AIインフラストラクチャプラットフォームは、垂直統合されつつ水平方向にはオープンです。

NVLink Fusionは、ASIC設計、CPU、IPおよび光インターコネクトのパートナーに及ぶ、迅速な開発・統合・展開のために設計されたエコシステムに支えられています。採用企業は、NVIDIA MGX ラックスケールアーキテクチャと、NVIDIA Vera Rubin NVL72 などの MGX ベースのシステムで使われているのと同じサプライチェーンも利用できます。製造パートナーが設計と統合を管理し、MGX サプライヤーがラック、冷却、電力、および新たに登場している 800 VDC 設計のためのビルディングブロックを提供します。

NVLink Fusionの採用企業は、NVIDIA Rubin GPU、Vera CPU、co-packaged opticsスイッチ、ConnectX SuperNIC、BlueField DPU、Mission Controlソフトウェア、およびNVIDIA Vera Rubin NVL72、Vera CPU Rack、LPX、STX、SPXを含むフルラックソリューションを、任意で組み込めます。MGXサプライヤーはラック、冷却、電源、および新たな800 VDC設計の構成要素を提供します。

シリコン構成に縛られない計画と事前検証

AIファクトリーの計画はシリコンを待ちません。電力調達、施設設計、冷却、ラックレイアウト、およびネットワークアーキテクチャは、最終的なアクセラレータの構成が決まるずっと前に始まります。特定の1種類のチップに縛られたデータセンターは、スケジュール上のリスクになりえます。

ワークロードによって適するアクセラレータは異なる場合があり、これにはXPU、GPU、CPU、LPUなどが含まれます。 GPUシステムは、トレーニング、ポストトレーニング、推論(reasoning)、検索(retrieval)、およびサービング(serving)のために、セミカスタムシステムと併用されることがあります。

NVLink Fusionの統合アーキテクチャでは、XPUベースのシステムと、NVIDIA Vera Rubin NVL72のようなGPUベースのシステムが、ラックのフットプリント、ネットワーク、冷却、電力供給、管理システムを共有できます。こうした共有により、オペレーターは正確なシリコン構成の決定を先送りしたままビルドアウトを進め、ワークロード需要、シリコン供給、事業上の優先事項の変化に応じてキャパシティを再プロビジョニングできます。MediaTekのVince Hu（データセンター・コンピューティング事業グループのコーポレートシニアバイスプレジデント兼ゼネラルマネージャー）は、NVLink Fusionプログラムの価値は、顧客がNVIDIA GPUでラックレベルのソリューションを展開し、XPUの開発を切り離して別のペースで進められる点にあると述べています。

AIファクトリーの建設は費用が大きく、ミスがあると高コストな手戻りが必要になる場合があります。そのため、建設を開始する前にインフラを検証しておく必要があります。

NVLink Fusionは、AIファクトリー向けのNVIDIA DSXリファレンスアーキテクチャに沿っており、このアーキテクチャは建物、電力、冷却、コンピュート、ネットワーキングを共同設計(codesign)するものです。NVIDIA Omniverse DSX AI Factory Blueprintは、ギガワット級のAIファクトリー向けにデジタルツイン(digital twin)とオープンなリファレンス設計(reference design)を提供します。これにより、パートナーは導入前に施設と技術を一緒にモデル化できます。

GUCのLie-Szu Juang（会長兼最高戦略責任者）は、NVLink Fusionによってハイパースケーラーやカスタム ASIC設計者が独自のカスタムCPUまたはXPUを統合でき、NVIDIAの技術を第三者のプロセスとつないで、統合されたラックスケールアーキテクチャを作れると述べています。Amazon傘下のAnnapurna Labsでシニアハードウェア開発マネージャーを務めるCC Lee氏は、NVLink Fusionでは実績のあるNVL72ラック設計を使えるため市場投入を早められ、複数のサプライヤーを利用できるので、より多くを顧客の手元に届けられると述べています。

保守性とソフトウェアによる運用

ラックレベルでは、保守のしやすさ(serviceability)も性能の一部です。リファレンスのコンピュートトレイは、ファン、ケーブル、ホースのない100%液冷(liquid cooling)を特長とし、ラックの残りを稼働させたままトレイを取り外せます。NVLink Switchのスイッチトレイも液冷であり、保守中も稼働を継続できます。

ソフトウェア面では、分散ワークロード向けのNVIDIA NCCL、ディスアグリゲーション(disaggregation)向けのNVIDIA DynamoとNIXL、クラスター管理・テレメトリ(telemetry)・デバッグ向けのNVIDIA Mission Controlが、オペレーターが混成のAIインフラを協調動作するシステムとして運用するのに役立ちます。

NVLink Fusionによって、XPUは世界クラスのAIプラットフォームと組み合わせて使えるようになります。ハイパースケーラーとAIネイティブ企業は、多くのビルダーの強みを組み合わせた、1社では構築できないインフラとなる統合型のセミカスタムAIファクトリーを構築できます。