Descrição
Bem-vindo à documentação oficial dos aceleradores de IA Intel® Gaudi®, cobrindo versões até v1.24. Este recurso foi projetado para capacitar desenvolvedores e pesquisadores a aproveitar todo o potencial dos aceleradores de IA Intel® Gaudi® 2 e Intel® Gaudi® 3.
Ler mais
A documentação fornece informações detalhadas para facilitar sua jornada com o hardware Gaudi. Você encontrará guias detalhados sobre como migrar seus modelos de IA existentes para a plataforma Gaudi, garantindo uma transição suave. Exemplos de código práticos são incluídos para ilustrar várias funcionalidades e acelerar seu processo de desenvolvimento.
Além disso, a documentação aprofunda-se nas melhores práticas para depuração e otimização de suas cargas de trabalho de IA no Gaudi. Isso inclui dicas de ajuste de desempenho, insights arquitetônicos e estratégias para alcançar a máxima eficiência. Referências abrangentes de API estão disponíveis para ajudá-lo a entender e utilizar toda a gama de recursos do Gaudi.
As seções principais cobrem a instalação de software e o acesso à plataforma, permitindo que você configure seu ambiente corretamente. As funcionalidades de treinamento e escalonamento são explicadas, com orientação específica sobre o treinamento de modelos PyTorch, a execução de modelos grandes usando DeepSpeed e o escalonamento de treinamento multi-nó com técnicas de treinamento distribuído. Para inferência, a documentação detalha como executar inferência PyTorch, utilizar vLLM e SGLang para serviço de modelo eficiente e trabalhar com modelos quantizados usando tipos de dados FP8 ou INT4.
Esta documentação serve como um hub central para todas as informações relacionadas ao Intel Gaudi, garantindo que os usuários tenham as ferramentas e o conhecimento necessários para construir e implantar aplicações de IA de ponta. O acesso a versões anteriores da documentação está disponível através do botão 'Versões'. O feedback sobre sua experiência é incentivado para ajudar a melhorar iterações futuras.
- CategoriaPlataformas de machine learning
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de Intel Gaudi
Documentação para aceleradores de IA Intel Gaudi 2 e Gaudi 3
Orientação sobre migração de modelos de IA para Gaudi
Exemplos de código para várias funcionalidades
Melhores práticas para depuração e otimização
Referências de API para hardware e software Gaudi
Guias de instalação de software e acesso à plataforma
Instruções para treinamento de modelos PyTorch
Suporte para treinamento de modelos grandes com DeepSpeed
Capacidades de treinamento distribuído multi-nó
Orientação sobre inferência PyTorch
Inferência usando vLLM e SGLang
Suporte para modelos quantizados FP8 e INT4
Capacidades de serviço de modelo
Primeiros passos com Intel Gaudi
Instalar Software: Siga o Guia de Instalação para configurar o software e as configurações de sistema necessários.
Acessar Plataforma: Aprenda como executar a Imagem Docker Intel Gaudi em sua plataforma escolhida.
Iniciar Treinamento: Comece a treinar modelos PyTorch e explore opções para executar modelos grandes com DeepSpeed.
Escalonar Treinamento: Implemente treinamento multi-nó usando técnicas de treinamento distribuído.
Executar Inferência: Comece a executar inferência PyTorch e explore motores de inferência avançados como vLLM e SGLang.
Otimizar Modelos: Utilize tipos de dados FP8 ou INT4 para executar modelos quantizados.
Implantar Modelos: Explore opções para serviço de modelo.
Casos de uso de Intel Gaudi
- Migração de Modelos
- Treinamento de Modelos de IA
- Implantação de Modelos Grandes
- Inferência Otimizada
- Ajuste de Desempenho
- Configuração de Plataforma
