NVIDIA Run:ai

Основная задача платформы — динамическое распределение ресурсов: она объединяет мощность GPU между средами и сопоставляет ресурсы с потребностями в рабочей нагрузке в реальном времени, так что неиспользуемое время GPU в одном проекте может быть использовано в другом. На этом объединении располагается движок политик, позволяющий организации запускать рабочие нагрузки между отделами, проектами и командами с централизованным управлением на основе политик, которое определяет, кто получает приоритетный и надежный доступ к ресурсам GPU. Run:ai поддерживает публичные облака, частные облака, гибридные среды и локальные центры обработки данных, а его открытая архитектура с приоритетом на API создана для интеграции с основными фреймворками ИИ, инструментами машинного обучения и сторонними системами, а не для привязки команды к одной стеку.

NVIDIA ссылается на бенчмарки поставщиков, показывающие до 10-кратной доступности GPU, 20-кратное увеличение рабочих нагрузок и 5-кратное использование GPU от клиентов, использующих динамическое планирование и оркестрацию, хотя точные результаты будут варьироваться в зависимости от среды и сочетания рабочих нагрузок. Кроме основного планирования, текущий релиз Run:ai (v2.25, как описано на странице продукта) описывается как продвигающий единую платформу для создания и эксплуатации систем ИИ в производственных масштабах, включая распределенную оркестрацию рабочих нагрузок и масштабирование вывода с большей видимостью и контролем.

Несколько компонентов являются открытыми: KAI Scheduler — это открытый планировщик Kubernetes для рабочих нагрузок ИИ, построенный на Run:ai и настроенный через обычные YAML-файлы, ориентированный на разработчиков и небольшие команды. Grove соединяет фреймворки вывода ИИ и планирование Kubernetes для развертываний с учетом топологии и может работать самостоятельно или вместе с другими фреймворками вывода. Run:ai Model Streamer — это Python SDK с C++ бэкендом, который одновременно считывает тензоры модели из хранилища и передает их непосредственно в память GPU, сокращая время загрузки модели в рабочих нагрузках вывода с минут до секунд.

NVIDIA Run:ai теперь входит в состав NVIDIA AI Enterprise и также управляет планированием внутри NVIDIA Mission Control, более широкой платформы операций ИИ от NVIDIA. Она создана для команд платформы и инфраструктуры ML предприятий, работающих с общими кластерами GPU в масштабах, а не для отдельного разработчика, обучающего модель на своем компьютере; ее использование предполагает наличие существующей инфраструктуры GPU на базе Kubernetes или поддерживаемой NVIDIA для оркестрации. Цены не опубликованы и обрабатываются через прямые или партнерские продажи.