Beschreibung
NVIDIA Run:ai ist eine Unternehmensplattform für die Orchestrierung von KI-Workloads und GPUs, die Infrastrukturherausforderungen adressiert, die auftreten, wenn eine Organisation KI-Training und -Inference über gemeinsame GPU-Cluster anstelle einer einzelnen Maschine durchführt.
Weiterlesen
Die Hauptaufgabe der Plattform ist die dynamische Ressourcenzuweisung: Sie bündelt die GPU-Kapazität über verschiedene Umgebungen und passt die Ressourcen in Echtzeit an die Arbeitslastanforderungen an, sodass ungenutzte GPU-Zeit in einem Projekt von einem anderen genutzt werden kann. Eine Richtlinien-Engine sitzt über dieser Bündelung und ermöglicht es einer Organisation, Workloads über Abteilungen, Projekte und Teams hinweg mit zentralisierter, richtlinienbasierter Governance auszuführen, die bestimmt, wer priorisierten, zuverlässigen Zugang zu GPU-Ressourcen erhält. Run:ai unterstützt öffentliche Cloud-, private Cloud-, hybride Umgebungen und lokale Rechenzentren, und seine offene, API-first-Architektur ist darauf ausgelegt, sich mit wichtigen KI-Frameworks, Machine-Learning-Tools und Drittanbietersystemen zu integrieren, anstatt ein Team an einen bestimmten Stack zu binden.
NVIDIA nennt Benchmark-Ergebnisse von Anbietern, die eine Verfügbarkeit von bis zu 10x GPU, 20x mehr laufenden Workloads und 5x GPU-Auslastung von Kunden zeigen, die dynamische Planung und Orchestrierung nutzen, obwohl die genauen Gewinne je nach Umgebung und Arbeitslastmix variieren. Über die Kernplanung hinaus wird die aktuelle Version von Run:ai (v2.25, wie auf der Produktseite beschrieben) als Fortschritt zu einer einheitlichen Plattform beschrieben, die den Aufbau und Betrieb von KI-Systemen in Produktionsgröße ermöglicht, einschließlich verteilter Workload-Orchestrierung und Inference-Skalierung mit mehr Sichtbarkeit und Kontrolle.
Mehrere Komponenten sind Open Source: Der KAI Scheduler ist ein Open-Source-Kubernetes-Scheduler für KI-Workloads, der auf Run:ai basiert und über einfache YAML-Dateien konfiguriert wird, und sich an Entwickler und kleine Teams richtet. Grove verbindet KI-Inferenz-Frameworks und Kubernetes-Planung für topologiebewusste, gruppenbasierte Bereitstellungen und kann eigenständig oder zusammen mit anderen Inferenz-Frameworks betrieben werden. Der Run:ai Model Streamer ist ein Python-SDK mit einem C++-Backend, das Modell-Tensoren gleichzeitig aus dem Speicher liest und sie direkt in den GPU-Speicher streamt, wodurch die Modellladezeiten in Inferenz-Workloads von Minuten auf Sekunden verkürzt werden.
NVIDIA Run:ai ist jetzt in NVIDIA AI Enterprise integriert und unterstützt auch die Planung innerhalb von NVIDIA Mission Control, der umfassenderen KI-Betriebsplattform von NVIDIA. Es ist für Unternehmens-ML-Plattform- und Infrastrukturteams konzipiert, die gemeinsam genutzte GPU-Cluster in großem Maßstab betreiben, und nicht für einen einzelnen Entwickler, der ein Modell auf seiner eigenen Maschine trainiert; die Annahme setzt eine bestehende Kubernetes-basierte oder NVIDIA-unterstützte GPU-Infrastruktur zur Orchestrierung voraus. Die Preisgestaltung ist nicht veröffentlicht und erfolgt über Direkt- oder Partnerverkäufe.
- KategorieMLOps & Modell-Deployment
- PreismodellVertrieb kontaktieren
- BereitstellungCloud, On-Premises
- PlattformenWeb
NVIDIA Run:ai's Kernfunktionen
KI-native Workload-Orchestrierung, die die Ausführung über verteilte Umgebungen zentralisiert
Dynamische GPU-Zuweisung, die Ressourcen in Echtzeit an die Arbeitslastanforderungen anpasst
Richtlinienbasierte Governance für fairen, priorisierten GPU-Zugang über Abteilungen und Teams
Offene, API-first-Architektur, die sich mit wichtigen KI-Frameworks und ML-Tools integriert
Unterstützung für öffentliche Cloud-, private Cloud-, hybride und lokale Bereitstellungen
KAI Scheduler, ein Open-Source-Kubernetes-Scheduler für KI-Workloads
Grove, topologiebewusste Planung für KI-Inferenz auf Kubernetes
Run:ai Model Streamer, der die Modellladezeiten von Minuten auf Sekunden verkürzt
In NVIDIA AI Enterprise und NVIDIA Mission Control integriert
Wie verwendet man NVIDIA Run:ai?
Setzen Sie Run:ai auf Ihrer Kubernetes-basierten GPU-Infrastruktur in der Cloud, lokal oder hybrid ein
Bündeln Sie GPU-Ressourcen, indem Sie Cluster verbinden, sodass GPUs über Teams und Projekte hinweg geteilt werden
Legen Sie Governance-Richtlinien für fairen, priorisierten Zugang zu gemeinsam genutzter GPU-Kapazität fest
Reichen Sie Trainings- und Inferenz-Workloads ein, damit Run:ai diese dynamisch planen und zuweisen kann
Überwachen Sie die Auslastung zentral und skalieren Sie Workloads über Umgebungen hinweg, wenn sich die Nachfrage ändert
Integrieren Sie bestehende ML-Frameworks und -Tools über die offene, API-first-Architektur der Plattform
NVIDIA Run:ai's Anwendungsfälle
- GPU-Orchestrierung für KI-Training
- Skalierung der KI-Inferenz
- Multi-Tenant-GPU-Governance
- Reduzierung von Modell-Kaltstarts
