Описание
OpenVINO — это комплексный набор инструментов с открытым исходным кодом, предназначенный для оптимизации развертывания высокопроизводительных решений ИИ. Он позволяет разработчикам создавать приложения, использующие как генеративные, так и традиционные модели ИИ, полученные из наиболее популярных фреймворков моделей. Набор инструментов облегчает преобразование, оптимизацию и эффективное выполнение инференса, максимально раскрывая потенциал оборудования Intel®.
Читать далее
По своей сути OpenVINO предлагает четыре основных инструмента для решения различных задач развертывания. OpenVINO Base Package предназначен для запуска и развертывания традиционных моделей ИИ. Для генеративного ИИ инструмент OpenVINO GenAI упрощает развертывание. Компонент OpenVINO Physical AI позволяет развертывать модели VLA на роботах. Кроме того, OpenVINO Model Server предоставляет масштабируемое решение для развертывания инференса как генеративного, так и традиционного ИИ на сервере, поддерживая облачные развертывания в средах Kubernetes.
Ключевые возможности включают методы сжатия моделей, такие как сжатие после обучения и во время обучения с помощью NNCF, для достижения оптимальной производительности. OpenVINO поддерживает прямое связывание с OpenVINO Runtime для локального инференса или интеграцию с OpenVINO Model Server для масштабируемого серверного инференса. Набор инструментов делает акцент на быстром и масштабируемом развертывании, позволяя писать приложения один раз и развертывать их где угодно, используя автоматическое обнаружение устройств для повышения гибкости.
OpenVINO Runtime доступен для Linux, Windows и macOS с API для Python, C++ и C, обеспечивая широкую совместимость с языками и операционными системами. Его более легкая конструкция развертывания минимизирует внешние зависимости, упрощая установку и управление. Пользовательская компиляция дополнительно уменьшает размер конечного бинарного файла. Для приложений, требующих быстрой загрузки, OpenVINO сокращает время первого инференса, интеллектуально используя ЦП для начального инференса перед переключением на другие устройства, а кэшированные скомпилированные модели дополнительно улучшают время запуска.
Целевая аудитория OpenVINO включает разработчиков ИИ, инженеров машинного обучения и исследователей, сосредоточенных на эффективном развертывании моделей ИИ на различных аппаратных платформах. Ценностное предложение заключается в его способности ускорять инференс ИИ, снижать сложность развертывания и обеспечивать кроссплатформенную совместимость, что делает его мощным инструментом для внедрения ИИ на периферии и за ее пределами.
- КатегорияИнструменты компьютерного зрения
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыLinux, Windows, macOS
Основные функции OpenVINO Toolkit
Поддерживает развертывание генеративных и традиционных моделей ИИ
Оптимизирует модели ИИ для высокопроизводительного инференса
Совместим с популярными фреймворками моделей (TensorFlow, ONNX, PaddlePaddle)
Обеспечивает инференс на облачных платформах, ИИ-ПК и периферийных устройствах
Предоставляет OpenVINO Runtime для локального инференса
Предлагает OpenVINO Model Server для масштабируемого инференса
Включает методы сжатия моделей (NNCF)
Поддерживает API для Python, C++ и C
Кроссплатформенная совместимость (Linux, Windows, macOS)
Разработан для более легкого развертывания с минимальными зависимостями
Улучшает время запуска приложений за счет интеллектуального использования устройств
Автоматическое обнаружение устройств для гибкости развертывания
Начало работы с OpenVINO Toolkit
Установка: Установите набор инструментов OpenVINO.
Преобразование модели: Преобразуйте вашу модель ИИ в формат OpenVINO.
Оптимизация: Примените методы оптимизации для повышения производительности.
Инференс: Выполните инференс локально с помощью OpenVINO Runtime.
Развертывание: Разверните модели на целевом оборудовании (периферия, ПК, облако).
Сервинг: Используйте OpenVINO Model Server для масштабируемого инференса.
Варианты использования OpenVINO Toolkit
- Развертывание ИИ на периферии
- Приложения для ИИ-ПК
- Облачные ИИ-сервисы
- ИИ для робототехники
- Развертывание генеративного ИИ
- Инференс традиционного ИИ
