Descripción
Bienvenido a la documentación oficial de los aceleradores de IA Intel® Gaudi®, que cubre versiones hasta la v1.24. Este recurso está diseñado para capacitar a desarrolladores e investigadores en el aprovechamiento del potencial completo de los aceleradores de IA Intel® Gaudi® 2 e Intel® Gaudi® 3.
Leer más
La documentación proporciona información detallada para facilitar su viaje con el hardware Gaudi. Encontrará guías detalladas sobre la migración de sus modelos de IA existentes a la plataforma Gaudi, asegurando una transición fluida. Se incluyen ejemplos de código prácticos para ilustrar diversas funcionalidades y acelerar su proceso de desarrollo.
Además, la documentación profundiza en las mejores prácticas para depurar y optimizar sus cargas de trabajo de IA en Gaudi. Esto incluye consejos de ajuste de rendimiento, información arquitectónica y estrategias para lograr la máxima eficiencia. Se encuentran disponibles referencias completas de API para ayudarle a comprender y utilizar toda la gama de capacidades de Gaudi.
Las secciones clave cubren la instalación de software y el acceso a la plataforma, lo que le permite configurar su entorno correctamente. Se explican las funcionalidades de entrenamiento y escalado, con orientación específica sobre el entrenamiento de modelos PyTorch, la ejecución de modelos grandes utilizando DeepSpeed y el escalado del entrenamiento multinodo con técnicas de entrenamiento distribuido. Para la inferencia, la documentación detalla cómo ejecutar inferencia PyTorch, utilizar vLLM y SGLang para servir modelos de manera eficiente, y trabajar con modelos cuantizados utilizando tipos de datos FP8 o INT4.
Esta documentación sirve como un centro central para toda la información relacionada con Intel Gaudi, asegurando que los usuarios tengan las herramientas y el conocimiento necesarios para construir e implementar aplicaciones de IA de vanguardia. El acceso a versiones anteriores de la documentación está disponible a través del botón 'Versiones'. Se fomenta la retroalimentación sobre su experiencia para ayudar a mejorar las iteraciones futuras.
- CategoríaPlataformas de aprendizaje automático
- ImplementaciónNube
- PlataformasWeb
Características principales de Intel Gaudi
Documentación para aceleradores de IA Intel Gaudi 2 y Gaudi 3
Orientación sobre la migración de modelos de IA a Gaudi
Ejemplos de código para diversas funcionalidades
Mejores prácticas para depuración y optimización
Referencias de API para hardware y software Gaudi
Guías de instalación de software y acceso a la plataforma
Instrucciones para entrenar modelos PyTorch
Soporte para entrenamiento de modelos grandes con DeepSpeed
Capacidades de entrenamiento distribuido multinodo
Orientación sobre inferencia PyTorch
Inferencia utilizando vLLM y SGLang
Soporte para modelos cuantizados FP8 e INT4
Capacidades de servicio de modelos
Primeros pasos con Intel Gaudi
Instalar Software: Siga la Guía de Instalación para configurar el software y las configuraciones del sistema necesarios.
Acceder a la Plataforma: Aprenda cómo ejecutar la Imagen Docker de Intel Gaudi en su plataforma elegida.
Iniciar Entrenamiento: Comience a entrenar modelos PyTorch y explore opciones para ejecutar modelos grandes con DeepSpeed.
Escalar Entrenamiento: Implemente entrenamiento multinodo utilizando técnicas de entrenamiento distribuido.
Ejecutar Inferencia: Comience a ejecutar inferencia PyTorch y explore motores de inferencia avanzados como vLLM y SGLang.
Optimizar Modelos: Utilice tipos de datos FP8 o INT4 para ejecutar modelos cuantizados.
Desplegar Modelos: Explore opciones para el servicio de modelos.
Casos de uso de Intel Gaudi
- Migración de Modelos
- Entrenamiento de Modelos de IA
- Despliegue de Modelos Grandes
- Inferencia Optimizada
- Ajuste de Rendimiento
- Configuración de Plataforma
