NVIDIA Run:ai

La función principal de la plataforma es la asignación dinámica de recursos: agrupa la capacidad de GPU a través de entornos y ajusta los recursos a la demanda de carga de trabajo en tiempo real, de modo que el tiempo de inactividad de GPU en un proyecto pueda ser utilizado por otro. Un motor de políticas se sitúa sobre esta agrupación, permitiendo a una organización ejecutar cargas de trabajo a través de departamentos, proyectos y equipos con una gobernanza centralizada impulsada por políticas que determina quién obtiene acceso priorizado y confiable a los recursos de GPU. Run:ai admite nube pública, nube privada, entornos híbridos y centros de datos locales, y su arquitectura abierta y centrada en API está diseñada para integrarse con los principales marcos de IA, herramientas de aprendizaje automático y sistemas de terceros en lugar de encerrar a un equipo en una sola pila.

NVIDIA cita benchmarks de proveedores de hasta 10x de disponibilidad de GPU, 20x más cargas de trabajo en ejecución y 5x de utilización de GPU de clientes que utilizan programación y orquestación dinámicas, aunque las ganancias exactas variarán según el entorno y la mezcla de cargas de trabajo. Más allá de la programación central, la versión actual de Run:ai (v2.25 como se describe en la página del producto) se describe como un avance hacia una plataforma unificada para construir y operar sistemas de IA a escala de producción, incluyendo orquestación de cargas de trabajo distribuidas y escalado de inferencia con más visibilidad y control.

Varios componentes son de código abierto: el KAI Scheduler es un programador de Kubernetes de código abierto para cargas de trabajo de IA, construido sobre Run:ai y configurado a través de archivos YAML simples, dirigido a desarrolladores y pequeños equipos. Grove conecta marcos de inferencia de IA y programación de Kubernetes para implementaciones programadas en grupo y conscientes de la topología, y puede ejecutarse de forma independiente o junto a otros marcos de inferencia. El Run:ai Model Streamer es un SDK de Python con un backend en C++ que lee tensores de modelo de manera concurrente desde el almacenamiento y los transmite directamente a la memoria de GPU, reduciendo los tiempos de carga de modelos en cargas de trabajo de inferencia de minutos a segundos.

NVIDIA Run:ai ahora está incluido en NVIDIA AI Enterprise y también potencia la programación dentro de NVIDIA Mission Control, la plataforma más amplia de operaciones de IA de NVIDIA. Está diseñado para equipos de infraestructura y plataformas de ML empresariales que operan clústeres de GPU compartidos a gran escala, en lugar de para un desarrollador individual que entrena un modelo en su propia máquina; adoptarlo supone contar con una infraestructura de GPU basada en Kubernetes o soportada por NVIDIA para orquestar. Los precios no se publican y se manejan a través de ventas directas o de socios.