Описание
Добро пожаловать в официальную документацию по ИИ-ускорителям Intel® Gaudi®, охватывающую версии до v1.24. Этот ресурс предназначен для того, чтобы помочь разработчикам и исследователям максимально использовать потенциал ИИ-ускорителей Intel® Gaudi® 2 и Intel® Gaudi® 3.
Читать далее
Документация содержит подробную информацию, которая облегчит вашу работу с оборудованием Gaudi. Вы найдете детальные руководства по миграции существующих моделей ИИ на платформу Gaudi, обеспечивая плавный переход. Практические примеры кода включены для иллюстрации различных функций и ускорения вашего процесса разработки.
Кроме того, документация углубляется в лучшие практики по отладке и оптимизации ваших ИИ-нагрузок на Gaudi. Это включает советы по настройке производительности, сведения об архитектуре и стратегии достижения максимальной эффективности. Предоставляются исчерпывающие справочники по API, которые помогут вам понять и использовать весь спектр возможностей Gaudi.
Ключевые разделы охватывают установку программного обеспечения и доступ к платформе, позволяя вам правильно настроить свою среду. Объясняются функции обучения и масштабирования, с конкретными указаниями по обучению моделей PyTorch, запуску больших моделей с использованием DeepSpeed и масштабированию многоузлового обучения с помощью техник распределенного обучения. Для инференса документация подробно описывает, как выполнять инференс PyTorch, использовать vLLM и SGLang для эффективного обслуживания моделей, а также работать с квантованными моделями, используя типы данных FP8 или INT4.
Эта документация служит центральным узлом для всей информации, связанной с Intel Gaudi, гарантируя, что у пользователей есть необходимые инструменты и знания для создания и развертывания передовых ИИ-приложений. Доступ к старым версиям документации осуществляется через кнопку «Версии». Мы приветствуем ваши отзывы о вашем опыте, чтобы помочь улучшить будущие итерации.
- КатегорияПлатформы машинного обучения
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Intel Gaudi
Документация по ИИ-ускорителям Intel Gaudi 2 и Gaudi 3
Руководства по миграции моделей ИИ на Gaudi
Примеры кода для различных функций
Лучшие практики по отладке и оптимизации
Справочники по API для оборудования и программного обеспечения Gaudi
Руководства по установке программного обеспечения и доступу к платформе
Инструкции по обучению моделей PyTorch
Поддержка обучения больших моделей с помощью DeepSpeed
Возможности распределенного многоузлового обучения
Руководства по инференсу PyTorch
Инференс с использованием vLLM и SGLang
Поддержка квантованных моделей FP8 и INT4
Возможности обслуживания моделей
Начало работы с Intel Gaudi
Установка ПО: Следуйте руководству по установке, чтобы настроить необходимое программное обеспечение и системные конфигурации.
Доступ к платформе: Узнайте, как запустить образ Docker Intel Gaudi на выбранной вами платформе.
Начало обучения: Начните обучение моделей PyTorch и изучите возможности запуска больших моделей с помощью DeepSpeed.
Масштабирование обучения: Реализуйте многоузловое обучение с использованием техник распределенного обучения.
Выполнение инференса: Начните выполнять инференс PyTorch и изучите продвинутые движки инференса, такие как vLLM и SGLang.
Оптимизация моделей: Используйте типы данных FP8 или INT4 для запуска квантованных моделей.
Развертывание моделей: Изучите возможности обслуживания моделей.
Варианты использования Intel Gaudi
- Миграция моделей
- Обучение моделей ИИ
- Развертывание больших моделей
- Оптимизированный инференс
- Настройка производительности
- Настройка платформы
