NVIDIAはNemotron 3モデルファミリーを拡張し、Nemotron 3.5 Lightningを発表しました。Nemotron 3 Nanoに続くこのリリースで、同社はNemotron 3.5 Lightningを、長時間稼働するエージェント型AIワークロード向けの同クラスで最も効率の高いモデルとしています。このリリースは、精度と速度を高めるためにオープンモデルを継続的に改善するというNVIDIAの取り組みを反映したものです。

Nemotron 3.5 Lightningは300億パラメータのエキスパート混合(mixture-of-experts)モデルであり、より大きなマルチエージェントシステム内の特化型タスク向けに作られています。より賢く効率的なエージェント型アプリケーションの構築に役立ちます。また、NVIDIAは、人気のエージェントツール内でのスマートなルーティング用オープンソースライブラリであるNeMo Switchyardを公開しました。

AIがチャットボットから自律型エージェントへ移行するなか、オープンモデル(open models)は、AIをどこで実行し、どうデプロイし、どう進化させるかを完全に制御したいという市場の需要に応えています。Nemotron 3.5 LightningとNeMo Switchyardは合わせて、AIをどうデプロイするか、どこで実行するか、どれだけ効率的に動かすかについての制御を高めます。対象はPC、ワークステーション、データセンター、クラウドにわたります。

NeMo Switchyardをデプロイすると、開発者はアプリケーションを書き直す必要がなく、各リクエストを、自身が持つオープンモデル、プロプライエタリなモデル、およびNVIDIAのモデルの組み合わせの中から、そのジョブに最も能力が高く適したモデルへインテリジェントに振り分けることができます。Nemotron 3.5 Lightningは、同クラスの他のモデルと比べて出力速度が最大4倍高速で、エージェント型のタスク完了が30%高速になります。

モデルのシステムという設計と使い分け

現代のエージェント型システムである常時稼働エージェント(always-on agents)は、タスクごとに特化した異なるモデルを組み合わせた、モデルのシステム（モデルアンサンブル）として動作する傾向が強まっています。NVIDIA Nemotronオープンモデルは、このモデルのシステムというアーキテクチャ向けに設計されています。Nemotron 3 UltraやGPT-5.6のようなフロンティア推論モデルがワークフローを計画・オーケストレーションし、Nemotron 3.5 Lightningのような小型の特化型モデルがコードレビュー、ツール使用、セキュリティアラート監視、請求に関する質問への回答といった個別タスクを実行する、という使い方があります。

Nemotron 3.5 Lightningは、常時稼働エージェントを支える大量処理のタスク向けに作られた、完全にカスタマイズ可能なオープンモデルです。このモデルは、評価手法、推論ソフトウェア、データセットを提供したNemotron Coalitionの貢献を受けて開発されました。Nemotron 3.5 Lightningはオープンでカスタマイズ可能なため、組織独自のドメインデータ、ツール、ワークフローを使ってNVIDIA NeMoで容易に事後学習(post-training)でき、特化型タスクの精度を改善できます。

Nemotron 3.5 Lightningを自社のワークロード向けにカスタマイズしている企業には、サイバーセキュリティ向けのCrowdStrike、法務サービス向けにTrajectoryと組むHarvey、コードレビュー向けにBasetenと組むCodeRabbitがあり、ドメイン特化のエージェント型タスクの精度向上に役立てています。また、Lila Sciencesは、物理科学とライフサイエンスにわたるエージェント型タスクについて、Nemotron 3.5 Lightningの推論能力の改善に協力しています。Fastino LabsはNemotron 3.5 Lightningをカスタマイズし、ソフトウェア開発、金融、ヘルスケアのワークロードで最高水準の精度を得ているといいます。

Nemotron 3.5 Lightningは、プライバシーとデプロイに関する制御を組織に与えます。NVIDIA RTX PC、NVIDIA DGX Spark、NVIDIA DGX Station、NVIDIA JetsonなどのローカルなAIシステム上で動かして既存のインフラ投資を最大限に活用できます。企業ユースケース向けには、エッジAIデバイス、NVIDIA RTX PROワークステーション、データセンター、クラウド環境へスケール可能です。また、速い応答が求められる大量処理の特化型タスクのために、ローカルで実行したりオンプレミスで実行したりできます。

NVIDIAはNemotron 3.5 Lightningを含むNemotronの各リリースと同様に、ライセンスが許す範囲でできるだけ多くの訓練データと手法を公開しており、これによりトレーサビリティ、監査、他モデルの訓練が可能になります。また、Nemotron 3.5 Lightningと並行して、エージェント型の強化学習（agentic reinforcement learning）データセットであるNemotron-RL-Agentic-Terminal-Pivotを公開します。このデータセットは、Nemotron 3.5 Lightningをコーディングエージェント能力向けに事後学習する際に使われました。

モデルによって得意分野は異なり、コーディング向け、推論向け、軽量タスク向けがあり、プライバシーと効率のためにローカルで実行するよう最適化されたものもあります。顧客が1つのデフォルトモデルに頼ると、支出が過大になるか品質が下がる可能性があり、ルーティングを手動で管理すると、統合作業が発生してデプロイを遅らせる可能性があります。NVIDIA NeMo Switchyardは、AIエージェント向けのオープンソースのモデルルーティング(model routing)ライブラリです。この技術は、エージェントワークフローの各ステップにおいて、特定のニーズに基づき、最も高性能で効率的なモデルへプロンプトを自動的にルーティングします。エージェントアプリケーションの開発者は、品質、レイテンシ、コストの要件といった自分たちの優先事項に合わせて、異なるルーティングアルゴリズムでNVIDIA NeMo Switchyardのルーターを調整または変更できます。

複数のモデルから成るシステムであるモデルのシステムでは、企業はトークン経済(tokenomics)が改善された強力なAIエージェントを作ることができます。NVIDIA NeMo Switchyardを用いた社内ベンチマークでは、フロンティア級の精度を維持しつつ、タスク完了コストをOpus 4.8単独の場合のほぼ3分の1に下げました。Boomiは同製品を5つのルーティング機能で評価し、ドメインルーティング精度100%を達成しました。さらに、トラフィックの59%を5倍高速なファインチューニング済みモデルに送り、後続ターンのレイテンシを21%削減しました。

パートナー各社の導入・評価状況

NVIDIAは、開発者が既に使っているツールやプラットフォームにインテリジェントなモデルルーティングを取り入れるため、AIエコシステム全体のパートナーと協力しています。Cadenceは、形式検証のユースケースでChipStack AI Super Agentを使い、効率を9.9%改善しました。Classmethodは、NeMo Switchyardを使って社内でopencodeとFireworksのワークロードを実行しており、初期テストでは品質を維持したままコストが27%削減されました。Cognitionは、NVIDIA NeMo Switchyardのstaged routerをNVIDIA社内用のDevin Desktopに統合しました。FrontierCode Mainでフロンティアに近い性能を達成し、全リクエストを単一のフロンティアモデルにルーティングする場合と比べて平均コストを28%削減しています。Kongは、Kong AI Gatewayを通じてNeMo Switchyardによるルーティングをネイティブに提供します。

LangChainはNeMo Switchyardを使い、145件のマルチターンDeep Agentsタスクにおいて、呼び出しのうちフロンティアモデル(frontier model)へのルーティングを7%にとどめ、コストを74%下げました。その際の精度のトレードオフは6%でした。LiteLLMは、開発者が既存のスタックを変えずにNeMo Switchyardの利点を使えるよう、プロキシレイヤーにプラグインとしてNeMo Switchyardを追加しています。Nous Researchは、エージェントの効率を高める設定しやすいルーティングシステムを開発者に提供するため、NeMo SwitchyardをHermesに統合しました。RampはNeMo Switchyardを使い、Ramp SWE-Benchでフロンティアモデルの性能に並びつつ、コストを58%、実行時間を33%削減しました。Siemensは、Fuse EDA AI Agentの効率を高めるためにベンチマークを行っています。

提供先と入手方法

Nemotron 3.5 Lightningは、Hugging Face、ModelScope、OpenRouter、およびNVIDIA NIMマイクロサービスとしてbuild.nvidia.comで利用できます。また、NVIDIA Cloud Partners、事後学習プラットフォーム、推論プラットフォーム、クラウドサービスプロバイダーの幅広いエコシステムを通じても利用可能です。NeMo Switchyardは現在GitHubで入手できますが、パートナーのプラットフォームには近日中に対応する予定です。