説明
NVIDIA Run:aiは、AIワークロードとGPUオーケストレーションのためのエンタープライズプラットフォームであり、組織が単一のマシンではなく共有GPUクラスター全体でAIトレーニングと推論を実行する際に発生するインフラストラクチャの課題に対処します。
続きを読む
このプラットフォームの主な役割は動的リソース割り当てです。環境全体でGPU容量をプールし、リアルタイムでワークロードの需要にリソースをマッチさせることで、あるプロジェクトでのアイドルGPU時間を別のプロジェクトで利用できるようにします。このプーリングの上にポリシーエンジンがあり、組織が部門、プロジェクト、チーム全体でワークロードを実行できるようにし、誰が優先的で信頼できるGPUリソースへのアクセスを得られるかを決定する中央集権的なポリシー駆動のガバナンスを提供します。Run:aiは、公共クラウド、プライベートクラウド、ハイブリッド環境、オンプレミスデータセンターをサポートし、そのオープンでAPIファーストのアーキテクチャは、主要なAIフレームワーク、機械学習ツール、サードパーティシステムと統合するように設計されており、チームを特定のスタックにロックインすることはありません。
NVIDIAは、動的スケジューリングとオーケストレーションを使用している顧客からのベンダーベンチマークを引用しており、最大10倍のGPU可用性、20倍のワークロード実行、5倍のGPU利用率を示していますが、正確な利益は環境やワークロードの混合によって異なります。コアスケジューリングを超えて、Run:aiの現在のリリース(製品ページで説明されているv2.25)は、分散ワークロードオーケストレーションと推論スケーリングを含む、プロダクションスケールでAIシステムを構築および運用するための統一プラットフォームの進展として説明されています。
いくつかのコンポーネントはオープンソースです。KAIスケジューラーは、Run:aiに基づいて構築され、プレーンYAMLファイルを通じて構成されるAIワークロード用のオープンソースKubernetesスケジューラーであり、開発者や小規模チームを対象としています。Groveは、AI推論フレームワークとKubernetesスケジューリングを橋渡しし、トポロジーを意識したギャングスケジュールデプロイメントを可能にし、スタンドアロンまたは他の推論フレームワークと一緒に実行できます。Run:ai Model Streamerは、ストレージからモデルテンソルを同時に読み取り、GPUメモリに直接ストリーミングするPython SDKで、推論ワークロードにおけるモデルの読み込み時間を数分から数秒に短縮します。
NVIDIA Run:aiは現在、NVIDIA AI Enterpriseにバンドルされており、NVIDIAの広範なAIオペレーションプラットフォームであるNVIDIA Mission Control内のスケジューリングも支えています。これは、スケールで共有GPUクラスターを運用するエンタープライズMLプラットフォームおよびインフラストラクチャチーム向けに構築されており、個々の開発者が自分のマシンでモデルをトレーニングするためのものではありません。これを採用するには、オーケストレーションのために既存のKubernetesベースまたはNVIDIAサポートのGPUインフラストラクチャが前提となります。価格は公開されておらず、直接またはパートナー販売を通じて処理されます。
- カテゴリーMLOps・モデルデプロイ
- 料金モデル営業に問い合わせ
- デプロイクラウド, オンプレミス
- プラットフォームWeb
NVIDIA Run:aiの主要機能
分散環境全体での実行を集中管理するAIネイティブワークロードオーケストレーション
リアルタイムでワークロードの需要にリソースをマッチさせる動的GPU割り当て
部門やチーム全体での公平で優先的なGPUアクセスのためのポリシー駆動のガバナンス
主要なAIフレームワークやMLツールと統合するオープンでAPIファーストのアーキテクチャ
公共クラウド、プライベートクラウド、ハイブリッド、オンプレミスデプロイメントのサポート
AIワークロード用のオープンソースKubernetesスケジューラーであるKAIスケジューラー
Kubernetes上でのAI推論のためのトポロジーを意識したスケジューリングであるGrove
モデルの読み込み時間を数分から数秒に短縮するRun:ai Model Streamer
NVIDIA AI EnterpriseおよびNVIDIA Mission Controlにバンドル
NVIDIA Run:aiの使い方は?
KubernetesベースのGPUインフラストラクチャ上でRun:aiをデプロイし、クラウド、オンプレミス、またはハイブリッドで実行します。
クラスターを接続してGPUリソースをプールし、チームやプロジェクト間でGPUを共有します。
共有GPU容量への公平で優先的なアクセスのためのガバナンスポリシーを設定します。
Run:aiにトレーニングおよび推論ワークロードを提出し、動的にスケジュールおよび割り当てます。
利用状況を中央で監視し、需要の変化に応じて環境全体でワークロードをスケールします。
プラットフォームのオープンでAPIファーストのアーキテクチャを通じて既存のMLフレームワークやツールを統合します。
NVIDIA Run:aiの使用例
- AIトレーニングのためのGPUオーケストレーション
- AI推論のスケーリング
- マルチテナントGPUガバナンス
- モデルのコールドスタートの削減





