Documentation Intel Gaudi

Description

Bienvenue dans la documentation officielle des accélérateurs IA Intel® Gaudi®, couvrant les versions jusqu'à la v1.24. Cette ressource est conçue pour permettre aux développeurs et aux chercheurs d'exploiter tout le potentiel des accélérateurs IA Intel® Gaudi® 2 et Intel® Gaudi® 3.

La documentation fournit des informations approfondies pour faciliter votre parcours avec le matériel Gaudi. Vous y trouverez des guides détaillés sur la migration de vos modèles IA existants vers la plateforme Gaudi, assurant une transition fluide. Des exemples de code pratiques sont inclus pour illustrer diverses fonctionnalités et accélérer votre processus de développement.

De plus, la documentation aborde les meilleures pratiques pour le débogage et l'optimisation de vos charges de travail IA sur Gaudi. Cela inclut des conseils d'optimisation des performances, des aperçus architecturaux et des stratégies pour atteindre une efficacité maximale. Des références d'API complètes sont disponibles pour vous aider à comprendre et à utiliser toute la gamme des capacités de Gaudi.

Les sections clés couvrent l'installation logicielle et l'accès à la plateforme, vous permettant de configurer correctement votre environnement. Les fonctionnalités d'entraînement et de mise à l'échelle sont expliquées, avec des instructions spécifiques pour l'entraînement de modèles PyTorch, l'exécution de grands modèles à l'aide de DeepSpeed, et la mise à l'échelle de l'entraînement multi-nœuds avec des techniques d'entraînement distribué. Pour l'inférence, la documentation détaille comment exécuter l'inférence PyTorch, utiliser vLLM et SGLang pour un service de modèle efficace, et travailler avec des modèles quantifiés à l'aide des types de données FP8 ou INT4.

Cette documentation sert de hub central pour toutes les informations relatives à Intel Gaudi, garantissant que les utilisateurs disposent des outils et des connaissances nécessaires pour construire et déployer des applications IA de pointe. L'accès aux anciennes versions de la documentation est disponible via le bouton 'Versions'. Vos retours d'expérience sont encouragés pour aider à améliorer les futures itérations.

Fonctionnalités principales de Documentation Intel Gaudi

• Documentation pour les accélérateurs IA Intel Gaudi 2 et Gaudi 3

• Conseils pour la migration de modèles IA vers Gaudi

• Exemples de code pour diverses fonctionnalités

• Meilleures pratiques pour le débogage et l'optimisation

• Références d'API pour le matériel et le logiciel Gaudi

• Guides d'installation logicielle et d'accès à la plateforme

• Instructions pour l'entraînement de modèles PyTorch

• Support pour l'entraînement de grands modèles avec DeepSpeed

• Capacités d'entraînement distribué multi-nœuds

• Conseils pour l'inférence PyTorch

• Inférence utilisant vLLM et SGLang

• Support pour les modèles quantifiés FP8 et INT4

• Capacités de service de modèles

Premiers pas avec Documentation Intel Gaudi

1. 1

   Installer le logiciel : Suivez le Guide d'installation pour configurer le logiciel et les configurations système nécessaires.

2. 2

   Accéder à la plateforme : Apprenez comment exécuter l'image Docker Intel Gaudi sur la plateforme de votre choix.

3. 3

   Démarrer l'entraînement : Commencez l'entraînement de modèles PyTorch et explorez les options pour exécuter de grands modèles avec DeepSpeed.

4. 4

   Mettre à l'échelle l'entraînement : Implémentez l'entraînement multi-nœuds en utilisant des techniques d'entraînement distribué.

5. 5

   Exécuter l'inférence : Commencez à exécuter l'inférence PyTorch et explorez les moteurs d'inférence avancés comme vLLM et SGLang.

6. 6

   Optimiser les modèles : Utilisez les types de données FP8 ou INT4 pour exécuter des modèles quantifiés.

7. 7

   Déployer des modèles : Explorez les options pour le service de modèles.

Cas d'utilisation de Documentation Intel Gaudi

• Migration de modèles
• Entraînement de modèles IA
• Déploiement de grands modèles
• Inférence optimisée
• Optimisation des performances
• Configuration de la plateforme

FAQ de Documentation Intel Gaudi

• Quels accélérateurs IA la documentation Intel Gaudi couvre-t-elle ?

  La documentation couvre l'accélérateur IA Intel® Gaudi® 2 et l'accélérateur IA Intel® Gaudi® 3.

• Où puis-je trouver des informations sur la migration de modèles vers Gaudi ?

  Des guides détaillés sur la migration de modèles vers Gaudi sont disponibles dans la documentation.

• La documentation inclut-elle des exemples de code ?

  Oui, la documentation fournit des exemples de code pratiques pour aider les utilisateurs.

• Comment puis-je optimiser mes modèles IA sur Gaudi ?

  La documentation propose des meilleures pratiques pour l'optimisation, y compris des informations sur l'utilisation des types de données FP8 ou INT4 pour les modèles quantifiés.

• Quelles sont les étapes pour l'installation logicielle ?

  Vous pouvez trouver des instructions détaillées dans la section 'Guide d'installation' de la documentation.

• Comment configurer et exécuter l'entraînement sur Gaudi ?

  La documentation comprend des sections sur 'Entraînement et Mise à l'échelle' qui couvrent la configuration des modèles PyTorch et l'entraînement distribué.

• Quelles options sont disponibles pour l'inférence de modèles ?

  La documentation détaille comment exécuter l'inférence PyTorch, utiliser vLLM, SGLang, et travailler avec des modèles quantifiés.

• Puis-je accéder aux anciennes versions de la documentation ?

  Oui, les anciennes versions de la documentation sont accessibles en utilisant le bouton 'Versions' situé en bas à droite de la page.

• Quel est le but de la documentation Intel Gaudi ?

  Le but est de fournir des ressources complètes pour l'utilisation des accélérateurs IA Intel Gaudi, couvrant tout, de l'installation à l'optimisation avancée et au déploiement.

• La documentation couvre-t-elle l'entraînement multi-nœuds ?

  Oui, la section 'Entraînement et Mise à l'échelle' inclut des informations sur la mise à l'échelle de l'entraînement multi-nœuds en utilisant des techniques d'entraînement distribué.