Документация Intel Gaudi

Описание

Добро пожаловать в официальную документацию по ИИ-ускорителям Intel® Gaudi®, охватывающую версии до v1.24. Этот ресурс предназначен для того, чтобы помочь разработчикам и исследователям максимально использовать потенциал ИИ-ускорителей Intel® Gaudi® 2 и Intel® Gaudi® 3.

Документация содержит подробную информацию, которая облегчит вашу работу с оборудованием Gaudi. Вы найдете детальные руководства по миграции существующих моделей ИИ на платформу Gaudi, обеспечивая плавный переход. Практические примеры кода включены для иллюстрации различных функций и ускорения вашего процесса разработки.

Кроме того, документация углубляется в лучшие практики по отладке и оптимизации ваших ИИ-нагрузок на Gaudi. Это включает советы по настройке производительности, сведения об архитектуре и стратегии достижения максимальной эффективности. Предоставляются исчерпывающие справочники по API, которые помогут вам понять и использовать весь спектр возможностей Gaudi.

Ключевые разделы охватывают установку программного обеспечения и доступ к платформе, позволяя вам правильно настроить свою среду. Объясняются функции обучения и масштабирования, с конкретными указаниями по обучению моделей PyTorch, запуску больших моделей с использованием DeepSpeed и масштабированию многоузлового обучения с помощью техник распределенного обучения. Для инференса документация подробно описывает, как выполнять инференс PyTorch, использовать vLLM и SGLang для эффективного обслуживания моделей, а также работать с квантованными моделями, используя типы данных FP8 или INT4.

Эта документация служит центральным узлом для всей информации, связанной с Intel Gaudi, гарантируя, что у пользователей есть необходимые инструменты и знания для создания и развертывания передовых ИИ-приложений. Доступ к старым версиям документации осуществляется через кнопку «Версии». Мы приветствуем ваши отзывы о вашем опыте, чтобы помочь улучшить будущие итерации.

Основные функции Документация Intel Gaudi

• Документация по ИИ-ускорителям Intel Gaudi 2 и Gaudi 3

• Руководства по миграции моделей ИИ на Gaudi

• Примеры кода для различных функций

• Лучшие практики по отладке и оптимизации

• Справочники по API для оборудования и программного обеспечения Gaudi

• Руководства по установке программного обеспечения и доступу к платформе

• Инструкции по обучению моделей PyTorch

• Поддержка обучения больших моделей с помощью DeepSpeed

• Возможности распределенного многоузлового обучения

• Руководства по инференсу PyTorch

• Инференс с использованием vLLM и SGLang

• Поддержка квантованных моделей FP8 и INT4

• Возможности обслуживания моделей

Начало работы с Документация Intel Gaudi

1. 1

   Установка ПО: Следуйте руководству по установке, чтобы настроить необходимое программное обеспечение и системные конфигурации.

2. 2

   Доступ к платформе: Узнайте, как запустить образ Docker Intel Gaudi на выбранной вами платформе.

3. 3

   Начало обучения: Начните обучение моделей PyTorch и изучите возможности запуска больших моделей с помощью DeepSpeed.

4. 4

   Масштабирование обучения: Реализуйте многоузловое обучение с использованием техник распределенного обучения.

5. 5

   Выполнение инференса: Начните выполнять инференс PyTorch и изучите продвинутые движки инференса, такие как vLLM и SGLang.

6. 6

   Оптимизация моделей: Используйте типы данных FP8 или INT4 для запуска квантованных моделей.

7. 7

   Развертывание моделей: Изучите возможности обслуживания моделей.

Варианты использования Документация Intel Gaudi

• Миграция моделей
• Обучение моделей ИИ
• Развертывание больших моделей
• Оптимизированный инференс
• Настройка производительности
• Настройка платформы

Часто задаваемые вопросы Документация Intel Gaudi

• Какие ИИ-ускорители охватывает документация Intel Gaudi?

  Документация охватывает ИИ-ускоритель Intel® Gaudi® 2 и ИИ-ускоритель Intel® Gaudi® 3.

• Где я могу найти информацию о миграции моделей на Gaudi?

  Подробные руководства по миграции моделей на Gaudi доступны в документации.

• Включает ли документация примеры кода?

  Да, документация предоставляет практические примеры кода для помощи пользователям.

• Как оптимизировать мои ИИ-модели на Gaudi?

  Документация предлагает лучшие практики по оптимизации, включая информацию об использовании типов данных FP8 или INT4 для квантованных моделей.

• Каковы шаги для установки программного обеспечения?

  Подробные инструкции вы можете найти в разделе «Руководство по установке» документации.

• Как настроить и запустить обучение на Gaudi?

  Документация включает разделы «Обучение и масштабирование», которые охватывают настройку моделей PyTorch и распределенное обучение.

• Какие варианты доступны для инференса моделей?

  Документация подробно описывает, как выполнять инференс PyTorch, использовать vLLM, SGLang и работать с квантованными моделями.

• Могу ли я получить доступ к старым версиям документации?

  Да, к старым версиям документации можно получить доступ с помощью кнопки «Версии», расположенной в правом нижнем углу страницы.

• Каково назначение документации Intel Gaudi?

  Цель состоит в том, чтобы предоставить исчерпывающие ресурсы для использования ИИ-ускорителей Intel Gaudi, охватывающие все, от установки до продвинутой оптимизации и развертывания.

• Охватывает ли документация многоузловое обучение?

  Да, раздел «Обучение и масштабирование» включает информацию о масштабировании многоузлового обучения с использованием техник распределенного обучения.