Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

OpenVINO

OpenVINO — это набор инструментов с открытым исходным кодом, предназначенный для оптимизации и развертывания ИИ-инференса. Он предоставляет комплексный набор инструментов и библиотек, которые помогают разработчикам ускорять модели глубокого обучения на различных аппаратных платформах. Набор инструментов поддерживает широкий спектр ИИ-моделей и предлагает функции для оптимизации моделей, квантизации и эффективного выполнения, что делает его подходящим для разнообразных ИИ-приложений.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

OpenVINO™ — это набор инструментов с открытым исходным кодом, разработанный для упрощения оптимизации и развертывания ИИ-инференса. Он предоставляет надежную платформу, которая позволяет разработчикам эффективно конвертировать, оптимизировать и запускать модели глубокого обучения на различных аппаратных средствах, включая ЦП, ГП и другие ускорители. Набор инструментов разработан для максимизации производительности с помощью таких техник, как квантизация, сжатие моделей и оптимизация графов, что значительно снижает задержку инференса и улучшает пропускную способность.

Читать далее

Основная функциональность OpenVINO сосредоточена на его способности брать предварительно обученные модели из популярных фреймворков, таких как TensorFlow, PyTorch и ONNX, и подготавливать их для высокопроизводительного выполнения. Он включает в себя Оптимизатор Моделей, который конвертирует модели в промежуточное представление (IR), которое затем оптимизируется для конкретных аппаратных целей. Двигатель Инференса, еще один ключевой компонент, предоставляет единый API для развертывания этих оптимизированных моделей, обеспечивая согласованную производительность на различных устройствах.

OpenVINO поддерживает широкий спектр ИИ-приложений, от задач компьютерного зрения, таких как обнаружение объектов и классификация изображений, до обработки естественного языка и распознавания речи. Его гибкость делает его идеальным выбором для сценариев вычислений на краю, где критически важны низкая задержка и эффективное использование ресурсов. Набор инструментов также предлагает богатый набор примеров и документации, чтобы помочь пользователям быстро начать работу и интегрировать ИИ-возможности в свои проекты.

Будучи проектом с открытым исходным кодом, OpenVINO получает выгоду от активного сообщества участников, что обеспечивает непрерывное развитие и улучшение. Он поддерживает различные языки программирования, в первую очередь Python и C++, позволяя разработчикам выбирать предпочитаемую среду. Приверженность набора инструментов открытым стандартам и широкая совместимость с аппаратным обеспечением делают его ценным активом для всех, кто хочет развернуть ИИ-модели в реальных приложениях с оптимальной производительностью.

  • КатегорияMLOps и развёртывание моделей
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако, На своём сервере
  • ПлатформыWindows, Linux, macOS

  • Набор инструментов с открытым исходным кодом для ИИ-инференса

  • Оптимизация моделей глубокого обучения

  • Развертывание ИИ-инференса на различных аппаратных средствах

  • Поддержка ЦП, ГП и других ускорителей

  • Включает Оптимизатор Моделей для конвертации моделей

  • Предоставляет Двигатель Инференса для единого API развертывания

  • Поддержка моделей из TensorFlow, PyTorch, ONNX

  • Функции квантизации и сжатия моделей

  • Предлагает техники оптимизации графов

  • Снижает задержку инференса и улучшает пропускную способность

  • Подходит для задач компьютерного зрения

  • Применим для обработки естественного языка

  • Поддерживает приложения распознавания речи

  • Разработан для сценариев вычислений на краю

  • Выгоды от вкладов сообщества

  1. Клонировать репозиторий: Используйте `git clone`, чтобы получить исходный код OpenVINO с GitHub.

  2. Установить зависимости: Следуйте инструкциям в скрипте `install_build_dependencies.sh`, чтобы настроить необходимые библиотеки и инструменты.

  3. Настроить сборку: Используйте CMake для настройки процесса сборки, указав целевое оборудование и желаемые компоненты.

  4. Собрать OpenVINO: Скомпилируйте исходный код, используя выбранную вами систему сборки (например, Make, Ninja).

  5. Развернуть модели: Конвертируйте ваши предварительно обученные ИИ-модели с помощью Оптимизатора Моделей в Промежуточное Представление (IR) OpenVINO.

  6. Запустить инференс: Используйте API Двигателя Инференса в вашем приложении для загрузки и выполнения оптимизированных моделей на целевом устройстве.

  7. Оптимизировать производительность: Экспериментируйте с различными техниками оптимизации, такими как квантизация и слияние моделей, чтобы достичь желаемых показателей производительности.

  • Развертывание компьютерного зрения
  • Обработка естественного языка
  • Системы распознавания речи
  • Приложения ИИ на краю
  • Промышленная автоматизация
  • Аналитика в розничной торговле
  • Медицинская визуализация
  • Робототехника и автономные системы

От Intel

Часть OpenVINO Toolkit.

Отзывы о OpenVINO

Загрузка...

Популярные ИИ-инструменты, похожие на OpenVINO

NVIDIA Model-Optimizer

AI-репозитории на GitHub

NVIDIA Model-Optimizer — это унифицированная библиотека, предлагающая современные методы оптимизации моделей глубокого обучения. Она включает такие методы, как квантование,…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Унифицированная библиотека, предлагающая современные методы оптимизации моделей глубокого обучения. Она включает такие методы, как квантование,…NVIDIA Model-Optimizer — это унифицированная библиотека, предлагающая современные методы оптимизации моделей глубокого обучения. Она включает такие методы, как квантование,…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

DeepInfer

AI-репозитории на GitHub

DeepInfer — это высокопроизводительный фреймворк для вывода, разработанный для моделей DeepSeek. Он обеспечивает эффективные и масштабируемые процессы вывода, что делает его…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный фреймворк для вывода, разработанный для моделей DeepSeek. Он обеспечивает эффективные и масштабируемые процессы вывода, что делает его…DeepInfer — это высокопроизводительный фреймворк для вывода, разработанный для моделей DeepSeek. Он обеспечивает эффективные и масштабируемые процессы вывода, что делает его…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

AirLLM

AI-репозитории на GitHub

AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей

№73 в Машинное обучение и наука о данных

Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей
№73 в Машинное обучение и наука о данных

OpenVINO Toolkit

AI-фреймворки

OpenVINO — это набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на разнообразном оборудовании. Он позволяет разработчикам…

Инструменты компьютерного зрения
Открыть инструмент

AI-фреймворки

Набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на разнообразном оборудовании. Он позволяет разработчикам…OpenVINO — это набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на разнообразном оборудовании. Он позволяет разработчикам…

Инструменты компьютерного зрения
Топ-50: AI-фреймворки

Kapitsa

AI-репозитории на GitHub

Kapitsa — это оптимизированный движок вывода, разработанный для Apple Silicon, совместимый с API OpenAI и Anthropic. Разработанный командой Nace AI, он поддерживает модели Qwen и…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Оптимизированный движок вывода, разработанный для Apple Silicon, совместимый с API OpenAI и Anthropic. Разработанный командой Nace AI, он поддерживает модели Qwen и…Kapitsa — это оптимизированный движок вывода, разработанный для Apple Silicon, совместимый с API OpenAI и Anthropic. Разработанный командой Nace AI, он поддерживает модели Qwen и…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

Baseten

AI-платформы

Платформа вывода Baseten позволяет пользователям эффективно развертывать и масштабировать модели ИИ с открытым исходным кодом и настраиваемые модели. Она предлагает…

MLOps и развёртывание моделей

№72 в AI-платформы

Открыть инструмент

AI-платформы

Платформа вывода Baseten позволяет пользователям эффективно развертывать и масштабировать модели ИИ с открытым исходным кодом и настраиваемые модели. Она предлагает…

РекомендованоMLOps и развёртывание моделей
№72 в AI-платформы

TorchTitan

AI-репозитории на GitHub

TorchTitan — это платформа, основанная на PyTorch, предназначенная для обучения генеративных моделей ИИ. Она предоставляет надежную основу для разработки и оптимизации масштабных…

Платформы машинного обучения
Открыть инструмент

AI-репозитории на GitHub

Платформа, основанная на PyTorch, предназначенная для обучения генеративных моделей ИИ. Она предоставляет надежную основу для разработки и оптимизации масштабных…TorchTitan — это платформа, основанная на PyTorch, предназначенная для обучения генеративных моделей ИИ. Она предоставляет надежную основу для разработки и оптимизации масштабных…

Платформы машинного обучения
Топ-250: AI-репозитории на GitHub

trnrt

AI-репозитории на GitHub

trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей

№160 в MLOps и развёртывание моделей

Открыть инструмент

AI-репозитории на GitHub

Движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей
№160 в MLOps и развёртывание моделей
1 из 8