Описание
Intel® Neural Compressor — это мощная библиотека Python с открытым исходным кодом, предназначенная для повышения производительности моделей глубокого обучения с помощью различных методов сжатия. Она бесшовно интегрируется с основными фреймворками, такими как PyTorch, TensorFlow и JAX, что делает ее универсальным инструментом для разработчиков и исследователей.
Читать далее
Библиотека предоставляет комплексный набор методов сжатия моделей, включая статическую квантизацию, динамическую квантизацию, SmoothQuant, квантизацию только весов, обучение с учетом квантизации и смешанную точность. Ключевой возможностью является поддержка продвинутой квантизации больших языковых моделей (LLM) и визуально-языковых моделей (VLM), таких как LLaMA, Qwen и DeepSeek, с использованием интеграции с AutoRound для оптимизированных низкоточных типов данных.
Intel® Neural Compressor разработан для широкой совместимости с аппаратным обеспечением. Он предлагает обширное тестирование и поддержку широкого спектра аппаратных платформ Intel, включая AI-ускорители Intel Gaudi, процессоры Intel Core Ultra, процессоры Intel Xeon Scalable, процессоры Intel Xeon CPU Max Series, графические процессоры Intel Data Center GPU Flex Series и графические процессоры Intel Data Center GPU Max Series. Кроме того, он предоставляет ограниченную поддержку тестирования для процессоров AMD, процессоров ARM и графических процессоров NVIDIA.
Документация библиотеки подробно описывает процедуры установки для различных фреймворков и аппаратных платформ. Пользователи могут установить Neural Compressor с зависимостями конкретного фреймворка через pip, например, `neural-compressor-pt` для PyTorch или `neural-compressor-tf` для TensorFlow. Для JAX доступен метод установки сборкой из исходного кода. Документация также включает руководства для начинающих с примерами кода для таких методов, как квантизация FP8 на AI-ускорителях Intel Gaudi2 и загрузка LLM только с весами.
Последние обновления подчеркивают экспериментальную поддержку квантизации FP8 в Keras/JAX, статической квантизации FP8 KV-кэша/Attention с AutoRound, а также квантизации NVFP4/MXFP4. Проект активно поощряет вклад и сотрудничество, предоставляя четкие рекомендации по сообщениям об ошибках, запросам функций и исследовательским идеям через GitHub Issues и по электронной почте.
- КатегорияПлатформы машинного обучения
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Intel® Neural Compressor
Поддерживает фреймворки PyTorch, TensorFlow и JAX
Предлагает статическую квантизацию, динамическую квантизацию, SmoothQuant, квантизацию только весов
Включает обучение с учетом квантизации и смешанную точность
Продвинутая квантизация для LLM и VLM (например, LLaMA, Qwen)
Интеграция с AutoRound для оптимизированных низкоточных типов данных
Обширная поддержка аппаратного обеспечения Intel (Gaudi, Xeon, Core Ultra, Data Center GPUs)
Ограниченная поддержка процессоров AMD, процессоров ARM и графических процессоров NVIDIA
Экспериментальная поддержка квантизации FP8 для Keras/JAX
Экспериментальная статическая квантизация FP8 KV-кэша/Attention
Экспериментальная поддержка квантизации NVFP4 и MXFP4
Загрузка больших языковых моделей только с весами
Начало работы с Intel® Neural Compressor
Установка зависимостей фреймворка: Выберите и установите необходимые пакеты в зависимости от вашей среды развертывания (например, `pip install neural-compressor-pt`).
Настройка квантизации: Определите конфигурации квантизации, такие как FP8Config, для вашей модели.
Подготовка модели: Используйте функцию `prepare` для интеграции конфигураций квантизации в вашу модель.
Конвертация модели: Примените функцию `convert` для завершения сжатия модели.
Развертывание и оптимизация: Интегрируйте сжатую модель в ваше приложение для повышения производительности инференса.
Варианты использования Intel® Neural Compressor
- Квантизация LLM
- Оптимизация VLM
- Аппаратное ускорение
- Интеграция с фреймворками
- Настройка производительности
- Обучение со смешанной точностью
