Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Dynamo-Triton Open-Source Software

AI-фреймворкиMLOps и развёртывание моделейОткрытый исходный код · NVIDIA GPUs, x86, ARM

NVIDIA Dynamo-Triton позволяет развертывание AI моделей в различных фреймворках, таких как TensorRT, PyTorch и ONNX. Он поддерживает рабочие нагрузки в реальном времени, пакетные и потоковые, что делает его подходящим для разнообразных AI приложений.

Посетить URL
Поделиться
Посетить URL
Поделиться

NVIDIA Dynamo-Triton, ранее известный как NVIDIA Triton Inference Server, является программным обеспечением с открытым исходным кодом, разработанным для упрощения развертывания AI моделей в основных фреймворках, таких как TensorRT, PyTorch, ONNX, OpenVINO, Python и RAPIDS FIL. Этот мощный инструмент обеспечивает высокую производительность благодаря таким функциям, как динамическое пакетирование, параллельное выполнение и оптимизированные конфигурации. Dynamo-Triton способен поддерживать различные рабочие нагрузки, включая рабочие нагрузки в реальном времени, пакетные, ансамблевые и потоковые аудио/видео, и он работает без проблем на графических процессорах NVIDIA, не-NVIDIA ускорителях, x86 и ARM процессорах.

Читать далее

Как решение с открытым исходным кодом, Dynamo-Triton совместим как с DevOps, так и с MLOps рабочими процессами, эффективно интегрируясь с Kubernetes для масштабирования и Prometheus для мониторинга. Он разработан для работы как в облачных, так и в локальных AI платформах, обеспечивая безопасную и готовую к производству среду в рамках NVIDIA AI Enterprise. Эта среда включает стабильные API и обширную поддержку развертывания AI, что гарантирует, что разработчики могут эффективно управлять своими AI моделями.

Для приложений больших языковых моделей (LLM) NVIDIA предлагает дополнительные инструменты, такие как NVIDIA Dynamo, который предназначен для вывода LLM и многорежимного развертывания. Этот инструмент дополняет Dynamo-Triton, предоставляя оптимизации, специфичные для LLM, включая раздельное обслуживание, кэширование префиксов и кэширование ключ-значение для хранения. Разработчики могут получить доступ к множеству ресурсов, включая документацию, учебные пособия и стартовые наборы, чтобы помочь им начать работу с Dynamo-Triton и максимально использовать его возможности в своих AI проектах.

  • КатегорияMLOps и развёртывание моделей
  • Модель ценообразованияОткрытый исходный код
  • РазвёртываниеОблако и Локально
  • ПлатформыNVIDIA GPUs, x86, ARM

  • Открытый исходный код

  • Поддерживает TensorRT, PyTorch, ONNX, OpenVINO

  • Рабочие нагрузки в реальном времени и пакетные

  • Динамическое пакетирование

  • Параллельное выполнение

  • Интеграция с Kubernetes

  • Совместимость с Prometheus

  • Работает на оборудовании NVIDIA и не-NVIDIA

  • Поддерживает облачное и локальное развертывание

  • Оптимизации, специфичные для LLM, доступны

  1. Настройка: Подготовьте свою среду для развертывания AI моделей.

  2. Интеграция: Подключите Dynamo-Triton к выбранным вами AI фреймворкам.

  3. Развертывание: Запустите свои AI модели с помощью Triton Inference Server.

  4. Мониторинг: Используйте Prometheus для отслеживания производительности и использования ресурсов.

  5. Масштабирование: Используйте Kubernetes для масштабирования ваших развертываний по мере необходимости.

  • AI вывод в реальном времени
  • Пакетная обработка
  • Потоковая передача аудио/видео
  • Большие языковые модели
  • Облачное развертывание

От NVIDIA

Отзывы о Dynamo-Triton Open-Source Software

Загрузка...

Популярные ИИ-инструменты, похожие на Dynamo-Triton Open-Source Software

LiteRT

AI-фреймворки

LiteRT — это высокопроизводительный фреймворк Google для машинного обучения на устройстве, предназначенный для развертывания моделей GenAI и ML на периферийных платформах. Он…

MLOps и развёртывание моделей
Открыть инструмент

AI-фреймворки

Высокопроизводительный фреймворк Google для машинного обучения на устройстве, предназначенный для развертывания моделей GenAI и ML на периферийных платформах. Он…LiteRT — это высокопроизводительный фреймворк Google для машинного обучения на устройстве, предназначенный для развертывания моделей GenAI и ML на периферийных платформах. Он…

MLOps и развёртывание моделей
Топ-50: AI-фреймворки

TensorFlow Extended (TFX)

AI-фреймворки

TensorFlow Extended (TFX) — это платформа машинного обучения от Google для производственных сред. Она предоставляет фреймворк конфигурации и общие библиотеки для интеграции…

MLOps и развёртывание моделей
Открыть инструмент

AI-фреймворки

Платформа машинного обучения от Google для производственных сред. Она предоставляет фреймворк конфигурации и общие библиотеки для интеграции…TensorFlow Extended (TFX) — это платформа машинного обучения от Google для производственных сред. Она предоставляет фреймворк конфигурации и общие библиотеки для интеграции…

MLOps и развёртывание моделей
Топ-50: AI-фреймворки

Together AI

AI-платформы

Together AI предоставляет полнофункциональную платформу ИИ, облако, нативное для ИИ, для вывода, тонкой настройки и кластеров GPU. Она основана на передовых исследованиях,…

Платформы машинного обучения

№14 в AI-платформы

Открыть инструмент

AI-платформы

Предоставляет полнофункциональную платформу ИИ, облако, нативное для ИИ, для вывода, тонкой настройки и кластеров GPU. Она основана на передовых исследованиях,…Together AI предоставляет полнофункциональную платформу ИИ, облако, нативное для ИИ, для вывода, тонкой настройки и кластеров GPU. Она основана на передовых исследованиях,…

РекомендованоПлатформы машинного обучения
№14 в AI-платформы

SiliconFlow

AI-платформы

Платформа ИИ-инфраструктуры для разработчиков, позволяющая развертывать, настраивать и запускать более 200 оптимизированных LLM и мультимодальных моделей через один совместимый с…

MLOps и развёртывание моделей
Открыть инструмент

AI-платформы

Платформа ИИ-инфраструктуры для разработчиков, позволяющая развертывать, настраивать и запускать более 200 оптимизированных LLM и мультимодальных моделей через один совместимый с…

РекомендованоMLOps и развёртывание моделей
Топ-150: AI-платформы

Runware

AI-приложения

Runware — это платформа генеративного ИИ для вывода, которая предоставляет единый API для работы с изображениями, видео, аудио, 3D, LLM и визуальными моделями. Она предлагает…

MLOps и развёртывание моделей
Открыть инструмент

AI-приложения

Платформа генеративного ИИ для вывода, которая предоставляет единый API для работы с изображениями, видео, аудио, 3D, LLM и визуальными моделями. Она предлагает…Runware — это платформа генеративного ИИ для вывода, которая предоставляет единый API для работы с изображениями, видео, аудио, 3D, LLM и визуальными моделями. Она предлагает…

MLOps и развёртывание моделей
Топ-250: AI-приложения

Cerebrium

AI-платформы

Cerebrium предлагает бессерверную GPU-инфраструктуру для ИИ в реальном времени, обеспечивая холодные старты менее чем за секунду для голосовых агентов, видеомоделей и LLM. Он…

MLOps и развёртывание моделей
Открыть инструмент

AI-платформы

Предлагает бессерверную GPU-инфраструктуру для ИИ в реальном времени, обеспечивая холодные старты менее чем за секунду для голосовых агентов, видеомоделей и LLM. Он…Cerebrium предлагает бессерверную GPU-инфраструктуру для ИИ в реальном времени, обеспечивая холодные старты менее чем за секунду для голосовых агентов, видеомоделей и LLM. Он…

РекомендованоMLOps и развёртывание моделей
Топ-150: AI-платформы

KServe

AI-платформы

KServe — это кроссплатформенная платформа с открытым исходным кодом на базе Kubernetes для самостоятельного развертывания ИИ-инференса. Она предлагает унифицированное решение как…

MLOps и развёртывание моделей

№88 в AI-платформы

Открыть инструмент

AI-платформы

Кроссплатформенная платформа с открытым исходным кодом на базе Kubernetes для самостоятельного развертывания ИИ-инференса. Она предлагает унифицированное решение как…KServe — это кроссплатформенная платформа с открытым исходным кодом на базе Kubernetes для самостоятельного развертывания ИИ-инференса. Она предлагает унифицированное решение как…

MLOps и развёртывание моделей
№88 в AI-платформы

OpenVINO Toolkit

AI-фреймворки

OpenVINO — это набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на разнообразном оборудовании. Он позволяет разработчикам…

Инструменты компьютерного зрения
Открыть инструмент

AI-фреймворки

Набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на разнообразном оборудовании. Он позволяет разработчикам…OpenVINO — это набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на разнообразном оборудовании. Он позволяет разработчикам…

Инструменты компьютерного зрения
Топ-50: AI-фреймворки
1 из 8