NVIDIA Run:ai

La tâche principale de la plateforme est l'allocation dynamique des ressources : elle regroupe la capacité GPU à travers les environnements et associe les ressources à la demande de charge de travail en temps réel, de sorte que le temps GPU inactif dans un projet puisse être utilisé par un autre. Un moteur de politique se trouve au-dessus de cette agrégation, permettant à une organisation d'exécuter des charges de travail à travers les départements, projets et équipes avec une gouvernance centralisée et basée sur des politiques qui détermine qui bénéficie d'un accès priorisé et fiable aux ressources GPU. Run:ai prend en charge le cloud public, le cloud privé, les environnements hybrides et les centres de données sur site, et son architecture ouverte, axée sur l'API, est conçue pour s'intégrer aux principaux cadres d'IA, outils d'apprentissage automatique et systèmes tiers plutôt que de verrouiller une équipe dans une seule pile.

NVIDIA cite des benchmarks de fournisseurs allant jusqu'à 10x de disponibilité GPU, 20x plus de charges de travail exécutées et 5x d'utilisation GPU pour les clients utilisant la planification et l'orchestration dynamiques, bien que les gains exacts varient selon l'environnement et le mélange de charges de travail. Au-delà de la planification de base, la version actuelle de Run:ai (v2.25 comme décrit sur la page produit) est décrite comme faisant progresser une plateforme unifiée pour construire et exploiter des systèmes d'IA à l'échelle de production, y compris l'orchestration de charges de travail distribuées et l'évolutivité des inférences avec plus de visibilité et de contrôle.

Plusieurs composants sont open source : le KAI Scheduler est un planificateur Kubernetes open source pour les charges de travail d'IA, construit sur Run:ai et configuré via des fichiers YAML simples, destiné aux développeurs et aux petites équipes. Grove relie les cadres d'inférence d'IA et la planification Kubernetes pour des déploiements conscients de la topologie et planifiés en groupe, et peut fonctionner de manière autonome ou aux côtés d'autres cadres d'inférence. Le Run:ai Model Streamer est un SDK Python avec un backend C++ qui lit les tenseurs de modèle de manière concurrente à partir du stockage et les diffuse directement dans la mémoire GPU, réduisant les temps de chargement des modèles dans les charges de travail d'inférence de plusieurs minutes à quelques secondes.

NVIDIA Run:ai est désormais inclus dans NVIDIA AI Enterprise et alimente également la planification au sein de NVIDIA Mission Control, la plateforme d'opérations d'IA plus large de NVIDIA. Elle est conçue pour les équipes d'infrastructure et de plateforme ML d'entreprise exploitant des clusters GPU partagés à grande échelle, plutôt que pour un développeur individuel formant un modèle sur sa propre machine ; son adoption suppose une infrastructure GPU existante basée sur Kubernetes ou prise en charge par NVIDIA pour l'orchestration. Les prix ne sont pas publiés et sont gérés par des ventes directes ou par des partenaires.