NVIDIA Run:ai

Tugas inti platform ini adalah alokasi sumber daya dinamis: ia mengumpulkan kapasitas GPU di seluruh lingkungan dan mencocokkan sumber daya dengan permintaan beban kerja secara real-time, sehingga waktu GPU yang tidak terpakai dalam satu proyek dapat digunakan oleh proyek lain. Sebuah mesin kebijakan berada di atas pengumpulan ini, memungkinkan organisasi menjalankan beban kerja di seluruh departemen, proyek, dan tim dengan tata kelola terpusat yang berbasis kebijakan yang menentukan siapa yang mendapatkan akses GPU yang diprioritaskan dan dapat diandalkan. Run:ai mendukung cloud publik, cloud pribadi, lingkungan hibrida, dan pusat data on-premises, dan arsitektur terbuka yang mengutamakan API dirancang untuk terintegrasi dengan kerangka kerja AI utama, alat pembelajaran mesin, dan sistem pihak ketiga daripada mengunci tim ke dalam satu tumpukan.

NVIDIA mengutip tolok ukur vendor hingga 10x ketersediaan GPU, 20x lebih banyak beban kerja yang berjalan, dan 5x pemanfaatan GPU dari pelanggan yang menggunakan penjadwalan dan orkestrasi dinamis, meskipun keuntungan yang tepat akan bervariasi berdasarkan lingkungan dan campuran beban kerja. Selain penjadwalan inti, rilis Run:ai saat ini (v2.25 seperti yang dijelaskan di halaman produk) dijelaskan sebagai kemajuan platform terpadu untuk membangun dan mengoperasikan sistem AI pada skala produksi, termasuk orkestrasi beban kerja terdistribusi dan penskalaan inferensi dengan lebih banyak visibilitas dan kontrol.

Beberapa komponen bersifat sumber terbuka: KAI Scheduler adalah penjadwal Kubernetes sumber terbuka untuk beban kerja AI, dibangun di atas Run:ai dan dikonfigurasi melalui file YAML biasa, ditujukan untuk pengembang dan tim kecil. Grove menjembatani kerangka kerja inferensi AI dan penjadwalan Kubernetes untuk penyebaran yang sadar topologi dan dijadwalkan secara bersamaan, dan dapat berjalan secara mandiri atau bersamaan dengan kerangka kerja inferensi lainnya. Run:ai Model Streamer adalah SDK Python dengan backend C++ yang membaca tensor model secara bersamaan dari penyimpanan dan mengalirkannya langsung ke memori GPU, mengurangi waktu pemuatan model dalam beban kerja inferensi dari menit menjadi detik.

NVIDIA Run:ai sekarang dibundel ke dalam NVIDIA AI Enterprise dan juga mendukung penjadwalan di dalam NVIDIA Mission Control, platform operasi AI yang lebih luas dari NVIDIA. Ini dirancang untuk tim platform ML perusahaan dan infrastruktur yang mengoperasikan kluster GPU bersama dalam skala besar, bukan untuk pengembang individu yang melatih model di mesin mereka sendiri; mengadopsinya mengasumsikan adanya infrastruktur GPU berbasis Kubernetes atau yang didukung NVIDIA untuk diorkestrasi. Harga tidak dipublikasikan dan ditangani melalui penjualan langsung atau mitra.