NVIDIA Run:ai

A função principal da plataforma é a alocação dinâmica de recursos: ela agrupa a capacidade de GPU em diferentes ambientes e combina recursos com a demanda de carga de trabalho em tempo real, de modo que o tempo ocioso da GPU em um projeto possa ser utilizado por outro. Um mecanismo de políticas se sobrepõe a essa agregação, permitindo que uma organização execute cargas de trabalho entre departamentos, projetos e equipes com uma governança centralizada e orientada por políticas que determina quem tem acesso priorizado e confiável aos recursos de GPU. Run:ai suporta nuvem pública, nuvem privada, ambientes híbridos e data centers locais, e sua arquitetura aberta e orientada a API é projetada para se integrar com os principais frameworks de IA, ferramentas de aprendizado de máquina e sistemas de terceiros, em vez de prender uma equipe a uma única pilha.

A NVIDIA cita benchmarks de fornecedores de até 10x de disponibilidade de GPU, 20x mais cargas de trabalho em execução e 5x de utilização de GPU de clientes que utilizam agendamento dinâmico e orquestração, embora os ganhos exatos variem conforme o ambiente e a combinação de cargas de trabalho. Além do agendamento básico, a versão atual do Run:ai (v2.25, conforme descrito na página do produto) é descrita como um avanço em uma plataforma unificada para construir e operar sistemas de IA em escala de produção, incluindo orquestração de cargas de trabalho distribuídas e escalonamento de inferência com mais visibilidade e controle.

Vários componentes são de código aberto: o KAI Scheduler é um agendador Kubernetes de código aberto para cargas de trabalho de IA, construído sobre o Run:ai e configurado através de arquivos YAML simples, voltado para desenvolvedores e pequenas equipes. O Grove conecta frameworks de inferência de IA e agendamento Kubernetes para implantações agendadas em grupo e cientes da topologia, podendo ser executado de forma independente ou ao lado de outros frameworks de inferência. O Run:ai Model Streamer é um SDK Python com um backend em C++ que lê tensores de modelo simultaneamente do armazenamento e os transmite diretamente para a memória da GPU, reduzindo os tempos de carregamento de modelos em cargas de trabalho de inferência de minutos para segundos.

O NVIDIA Run:ai agora está incluído no NVIDIA AI Enterprise e também alimenta o agendamento dentro do NVIDIA Mission Control, a plataforma mais ampla de operações de IA da NVIDIA. É projetado para equipes de plataforma e infraestrutura de ML empresariais que operam clusters de GPU compartilhados em grande escala, em vez de para um desenvolvedor individual treinando um modelo em sua própria máquina; adotá-lo pressupõe uma infraestrutura de GPU baseada em Kubernetes ou suportada pela NVIDIA para orquestração. Os preços não são divulgados e são tratados através de vendas diretas ou de parceiros.