Description
OpenVINO est une boîte à outils open-source complète conçue pour rationaliser le déploiement de solutions d'IA haute performance. Elle permet aux développeurs de créer des applications exploitant des modèles d'IA générative et conventionnelle, issus des frameworks de modèles les plus populaires. La boîte à outils facilite la conversion, l'optimisation et l'exécution efficace de l'inférence, maximisant le potentiel du matériel Intel®.
Au cœur d'OpenVINO se trouvent quatre outils principaux pour répondre à divers besoins de déploiement. Le package de base OpenVINO est destiné à l'exécution et au déploiement de modèles d'IA conventionnels. Pour l'IA générative, l'outil OpenVINO GenAI simplifie le déploiement. Le composant OpenVINO Physical AI permet le déploiement de modèles VLA sur des robots. De plus, le serveur de modèles OpenVINO offre une solution évolutive pour déployer l'inférence d'IA générative et conventionnelle sur un serveur, prenant en charge les déploiements cloud-native au sein d'environnements Kubernetes.
Les capacités clés incluent des techniques de compression de modèles, telles que la compression post-entraînement et pendant l'entraînement avec NNCF, pour obtenir des performances optimales. OpenVINO prend en charge la liaison directe avec OpenVINO Runtime pour l'inférence locale ou l'intégration avec le serveur de modèles OpenVINO pour une inférence évolutive côté serveur. La boîte à outils met l'accent sur un déploiement rapide et évolutif, permettant d'écrire des applications une fois et de les déployer n'importe où, en bénéficiant de la découverte automatique des appareils pour une flexibilité accrue.
OpenVINO Runtime est disponible pour Linux, Windows et macOS, avec des API Python, C++ et C, garantissant une large compatibilité linguistique et système d'exploitation. Sa conception de déploiement plus légère minimise les dépendances externes, simplifiant l'installation et la gestion. La compilation personnalisée réduit encore la taille du binaire final. Pour les applications nécessitant un démarrage rapide, OpenVINO améliore la latence de la première inférence en utilisant intelligemment le CPU pour l'inférence initiale avant de passer à d'autres appareils, avec des modèles compilés mis en cache améliorant encore les temps de démarrage.
Le public cible d'OpenVINO comprend les développeurs d'IA, les ingénieurs en apprentissage automatique et les chercheurs axés sur le déploiement efficace de modèles d'IA sur une gamme de matériel. La proposition de valeur réside dans sa capacité à accélérer l'inférence d'IA, à réduire la complexité du déploiement et à permettre la compatibilité multiplateforme, ce qui en fait un outil puissant pour amener l'IA en périphérie et au-delà.
Fonctionnalités principales de OpenVINO Toolkit
Prend en charge le déploiement de modèles d'IA générative et conventionnelle
Optimise les modèles d'IA pour une inférence haute performance
Compatible avec les frameworks de modèles populaires (TensorFlow, ONNX, PaddlePaddle)
Permet l'inférence sur le cloud, les PC IA et les appareils périphériques
Fournit OpenVINO Runtime pour l'inférence locale
Offre le serveur de modèles OpenVINO pour une inférence évolutive
Inclut des techniques de compression de modèles (NNCF)
Prend en charge les API Python, C++ et C
Compatibilité multiplateforme (Linux, Windows, macOS)
Conçu pour un déploiement plus léger avec des dépendances minimales
Améliore le temps de démarrage des applications grâce à une utilisation intelligente des appareils
Découverte automatique des appareils pour une flexibilité de déploiement
Premiers pas avec OpenVINO Toolkit
Installation : Installez la boîte à outils OpenVINO.
Conversion de modèle : Convertissez votre modèle d'IA au format OpenVINO.
Optimisation : Appliquez des techniques d'optimisation pour les performances.
Inférence : Exécutez l'inférence localement à l'aide d'OpenVINO Runtime.
Déploiement : Déployez des modèles sur le matériel cible (périphérique, PC, cloud).
Service : Utilisez le serveur de modèles OpenVINO pour une inférence évolutive.
Cas d'utilisation de OpenVINO Toolkit
- Déploiement d'IA en périphérie
- Applications PC IA
- Services d'IA Cloud
- IA pour la robotique
- Déploiement d'IA générative
- Inférence d'IA conventionnelle
