OpenAIのGPT-6 Astra Ultrafastは、NVIDIA Blackwell GPU上で動作するモデルです。現在はOpenAI APIで提供されており、対象となるChatGPT WorkおよびCodexのユーザーも利用できます。

最大8倍速いトークン生成と開発者への効果

GPT-6 Astra Ultrafastは、NVIDIA Blackwellアーキテクチャの機能を活用するOpenAIのモデルによる推論最適化により高速化されており、Astra Standardモードと比べて最大8倍高速なトークン生成を提供します。この高速化は、開発者にとってはコーディングエージェントの編集・テスト・デバッグのサイクルの短縮、ツール呼び出しの合間の応答生成時間の削減、対話型アプリケーションの反応性向上につながる可能性があります。応答の速さは、エージェントがコードを書き、ツールを使い、結果を確認し、次に何をするかを決めるようなワークフロー全体で繰り返されるときに最も重要になります。Ultrafastは、Astraの能力をこうした時間的制約のあるループに持ち込みます。

OpenAI幹部が語るNVIDIAとの協力

NVIDIAのAIインフラストラクチャは、開発者が必要とするときに、OpenAIがより有用なモデル出力を提供するのを助けます。OpenAIの推論リードであるPhilippe Tilletは、NVIDIAがツールとドキュメントに深く投資したことで、OpenAIのモデルがBlackwellおよびRubin GPUのプログラミングに非常に優れたものになったと述べました。また、Astraはその知識を高性能なカーネルに変えることができ、そのカーネルによって、レイテンシ、スループット、コストのどのバランスを重視する場合でもNVIDIAハードウェアが魅力的になるとも述べています。Tilletによれば、Astra Ultrafastでは、エージェントがコードを書き、ツールを使い、複雑なタスクに取り組む間のモデルの応答が速くなります。

プログラマブルな基盤と推論ソフトの改良

プログラマブルなNVIDIAプラットフォームでは、モデルの進化に合わせて、開発者や研究者がトレーニング、推論、強化学習(reinforcement learning)でインフラを再利用できます。この柔軟性により、チームは需要の変化に応じてコンピュートリソースを転用でき、利用率が上がり、ワークロードごとの過剰なプロビジョニングを避けられます。

OpenAIは自社のモデルを使って、NVIDIA GPU上で動く推論ソフトウェアの改良を進めており、プラットフォームのプログラマビリティを活用して改善を試し、実装しています。この継続的な取り組みにより、モデルの応答が速くなり、導入済みのインフラの生産性が時間とともに高まる可能性があります。

OpenAIのコンピュート担当最高技術責任者であるUday Ruddarrajuは、OpenAIが社内モデルを使ってNVIDIA GPU上の推論を最適化したと述べました。また、NVIDIAのプログラマビリティが、Astra Ultrafastの背後にある高速化の実現を助けたとも述べています。さらにRuddarrajuは、NVIDIAとの取り組みがAIをより速く、より有用にすることに役立っていると述べました。

GPT-6 Astra Ultrafastへのアクセス、価格、実装の詳細はUltrafast guideに記載されています。

開発者は、GPT-6 Astra Ultrafastを10月1日からAPI経由で利用できます。