Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

Software de Código Abierto Dynamo-Triton

Frameworks de IAMLOps y despliegue de modelosCódigo abierto · NVIDIA GPUs, x86, ARM

NVIDIA Dynamo-Triton permite el despliegue de modelos de IA a través de varios marcos como TensorRT, PyTorch y ONNX. Soporta cargas de trabajo en tiempo real, por lotes y de streaming, lo que lo hace adecuado para diversas aplicaciones de IA.

Visitar URL
Compartir
Visitar URL
Compartir

NVIDIA Dynamo-Triton, anteriormente conocido como NVIDIA Triton Inference Server, es un software de código abierto diseñado para facilitar el despliegue de modelos de IA a través de marcos principales como TensorRT, PyTorch, ONNX, OpenVINO, Python y RAPIDS FIL. Esta poderosa herramienta ofrece un alto rendimiento a través de características como el procesamiento dinámico por lotes, la ejecución concurrente y configuraciones optimizadas. Dynamo-Triton es capaz de soportar una variedad de cargas de trabajo, incluyendo en tiempo real, por lotes, en conjunto y streaming de audio/video, y opera sin problemas en GPUs de NVIDIA, aceleradores no NVIDIA, CPUs x86 y ARM.

Leer más

Como solución de código abierto, Dynamo-Triton es compatible con flujos de trabajo tanto de DevOps como de MLOps, integrándose de manera efectiva con Kubernetes para escalado y Prometheus para monitoreo. Está diseñado para funcionar en plataformas de IA en la nube y locales, proporcionando un entorno seguro y listo para producción como parte de NVIDIA AI Enterprise. Este entorno incluye APIs estables y un amplio soporte para el despliegue de IA, asegurando que los desarrolladores puedan gestionar eficientemente sus modelos de IA.

Para aplicaciones de modelos de lenguaje grande (LLM), NVIDIA ofrece herramientas adicionales como NVIDIA Dynamo, que está diseñado para la inferencia de LLM y el despliegue en múltiples modos. Esta herramienta complementa a Dynamo-Triton al proporcionar optimizaciones específicas para LLM, incluyendo servicio desagregado, almacenamiento en caché de prefijos y almacenamiento en caché de clave-valor. Los desarrolladores pueden acceder a una gran cantidad de recursos, incluyendo documentación, tutoriales y kits de inicio, para ayudarles a comenzar con Dynamo-Triton y maximizar sus capacidades en sus proyectos de IA.

  • CategoríaMLOps y despliegue de modelos
  • Modelo de preciosCódigo abierto
  • ImplementaciónEn la nube y en las instalaciones
  • PlataformasNVIDIA GPUs, x86, ARM

  • Código Abierto

  • Soporta TensorRT, PyTorch, ONNX, OpenVINO

  • Cargas de trabajo en tiempo real y por lotes

  • Procesamiento dinámico por lotes

  • Ejecución concurrente

  • Se integra con Kubernetes

  • Compatible con Prometheus

  • Funciona en hardware de NVIDIA y no NVIDIA

  • Soporta despliegue en la nube y local

  • Optimización específica para LLM disponible

  1. Configurar: Prepara tu entorno para desplegar modelos de IA.

  2. Integrar: Conecta Dynamo-Triton con tus marcos de IA elegidos.

  3. Desplegar: Lanza tus modelos de IA utilizando el Triton Inference Server.

  4. Monitorear: Usa Prometheus para rastrear el rendimiento y el uso de recursos.

  5. Escalar: Utiliza Kubernetes para escalar tus despliegues según sea necesario.

  • Inferencia de IA en Tiempo Real
  • Procesamiento por Lotes
  • Streaming de Audio/Video
  • Modelos de Lenguaje Grande
  • Despliegue en la Nube

De NVIDIA

Reseñas de Software de Código Abierto Dynamo-Triton

Cargando...

Herramientas de IA populares como Software de Código Abierto Dynamo-Triton

LiteRT

Frameworks de IA

LiteRT es el marco de aprendizaje automático de alto rendimiento de Google para el despliegue de modelos GenAI y ML en plataformas de borde. Ofrece conversión, tiempo de ejecución…

MLOps y despliegue de modelos
Ver herramienta

Frameworks de IA

Marco de aprendizaje automático de alto rendimiento de Google para el despliegue de modelos GenAI y ML en plataformas de borde. Ofrece conversión, tiempo de ejecución…LiteRT es el marco de aprendizaje automático de alto rendimiento de Google para el despliegue de modelos GenAI y ML en plataformas de borde. Ofrece conversión, tiempo de ejecución…

MLOps y despliegue de modelos
Ver el Top 50 de Frameworks de IA

TensorFlow Extended (TFX) es una plataforma de aprendizaje automático a escala de producción de Google. Proporciona un marco de configuración y bibliotecas compartidas para…

MLOps y despliegue de modelos
Ver herramienta

Plataforma de aprendizaje automático a escala de producción de Google. Proporciona un marco de configuración y bibliotecas compartidas para…TensorFlow Extended (TFX) es una plataforma de aprendizaje automático a escala de producción de Google. Proporciona un marco de configuración y bibliotecas compartidas para…

MLOps y despliegue de modelos
Ver el Top 50 de Frameworks de IA

Together AI

Plataformas de IA

Together AI proporciona una plataforma de IA de pila completa, la Nube Nativa para IA, para inferencia, ajuste fino y clústeres de GPU. Está impulsada por investigación de…

Plataformas de aprendizaje automático

N.º 14 en Plataformas de IA

Ver herramienta

Plataformas de IA

Proporciona una plataforma de IA de pila completa, la Nube Nativa para IA, para inferencia, ajuste fino y clústeres de GPU. Está impulsada por investigación de…Together AI proporciona una plataforma de IA de pila completa, la Nube Nativa para IA, para inferencia, ajuste fino y clústeres de GPU. Está impulsada por investigación de…

DestacadaPlataformas de aprendizaje automático
N.º 14 en Plataformas de IA

SiliconFlow

Plataformas de IA

Una plataforma de infraestructura de IA para que los desarrolladores implementen, ajusten y ejecuten más de 200 LLMs y modelos multimodales optimizados a través de una API…

MLOps y despliegue de modelos
Ver herramienta

Plataformas de IA

Una plataforma de infraestructura de IA para que los desarrolladores implementen, ajusten y ejecuten más de 200 LLMs y modelos multimodales optimizados a través de una API…

DestacadaMLOps y despliegue de modelos
Ver el Top 150 de Plataformas de IA

Runware

Apps de IA

Runware es una plataforma de inferencia de IA generativa que proporciona una API unificada para modelos de imagen, video, audio, 3D, LLM y visión. Ofrece más de 400,000 modelos,…

MLOps y despliegue de modelos
Ver herramienta

Apps de IA

Plataforma de inferencia de IA generativa que proporciona una API unificada para modelos de imagen, video, audio, 3D, LLM y visión. Ofrece más de 400,000 modelos,…Runware es una plataforma de inferencia de IA generativa que proporciona una API unificada para modelos de imagen, video, audio, 3D, LLM y visión. Ofrece más de 400,000 modelos,…

MLOps y despliegue de modelos
Ver el Top 250 de Apps de IA

Cerebrium

Plataformas de IA

Cerebrium ofrece infraestructura GPU serverless para IA en tiempo real, permitiendo arranques en frío en menos de un segundo para agentes de voz, modelos de video y LLMs.…

MLOps y despliegue de modelos
Ver herramienta

Plataformas de IA

Ofrece infraestructura GPU serverless para IA en tiempo real, permitiendo arranques en frío en menos de un segundo para agentes de voz, modelos de video y LLMs.…Cerebrium ofrece infraestructura GPU serverless para IA en tiempo real, permitiendo arranques en frío en menos de un segundo para agentes de voz, modelos de video y LLMs.…

DestacadaMLOps y despliegue de modelos
Ver el Top 150 de Plataformas de IA

KServe

Plataformas de IA

KServe es una plataforma de código abierto nativa de Kubernetes para inferencia de IA autoalojada. Ofrece una solución unificada tanto para IA generativa como predictiva,…

MLOps y despliegue de modelos

N.º 88 en Plataformas de IA

Ver herramienta

Plataformas de IA

Plataforma de código abierto nativa de Kubernetes para inferencia de IA autoalojada. Ofrece una solución unificada tanto para IA generativa como predictiva,…KServe es una plataforma de código abierto nativa de Kubernetes para inferencia de IA autoalojada. Ofrece una solución unificada tanto para IA generativa como predictiva,…

MLOps y despliegue de modelos
N.º 88 en Plataformas de IA

OpenVINO Toolkit

Frameworks de IA

OpenVINO es un kit de herramientas de código abierto para implementar soluciones de IA de alto rendimiento en diversos hardware. Permite a los desarrolladores convertir, optimizar…

Herramientas de visión artificial
Ver herramienta

Frameworks de IA

Kit de herramientas de código abierto para implementar soluciones de IA de alto rendimiento en diversos hardware. Permite a los desarrolladores convertir, optimizar…OpenVINO es un kit de herramientas de código abierto para implementar soluciones de IA de alto rendimiento en diversos hardware. Permite a los desarrolladores convertir, optimizar…

Herramientas de visión artificial
Ver el Top 50 de Frameworks de IA
1 de 8