Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

OpenVINO

OpenVINO est un ensemble d'outils open-source conçu pour optimiser et déployer l'inférence AI. Il fournit un ensemble complet d'outils et de bibliothèques pour aider les développeurs à accélérer les modèles d'apprentissage profond sur diverses plateformes matérielles. L'ensemble d'outils prend en charge une large gamme de modèles AI et offre des fonctionnalités pour l'optimisation des modèles, la quantification et l'exécution efficace, ce qui le rend adapté à diverses applications AI.

Voir le dépôt
Partager
Voir le dépôt
Partager

OpenVINO™ est un ensemble d'outils open-source développé pour simplifier l'optimisation et le déploiement de l'inférence AI. Il fournit un cadre robuste qui permet aux développeurs de convertir, optimiser et exécuter efficacement des modèles d'apprentissage profond sur une variété de matériels, y compris les CPU, GPU et autres accélérateurs. L'ensemble d'outils est conçu pour maximiser les performances en appliquant des techniques telles que la quantification, la compression de modèles et l'optimisation de graphes, qui réduisent considérablement la latence d'inférence et améliorent le débit.

Lire la suite

La fonctionnalité principale d'OpenVINO repose sur sa capacité à prendre des modèles pré-entraînés provenant de frameworks populaires tels que TensorFlow, PyTorch et ONNX, et à les préparer pour une exécution haute performance. Il comprend un Optimiseur de Modèle qui convertit les modèles en une représentation intermédiaire (IR), qui est ensuite optimisée pour des cibles matérielles spécifiques. Le Moteur d'Inférence, un autre composant clé, fournit une API unifiée pour déployer ces modèles optimisés, garantissant des performances cohérentes sur différents appareils.

OpenVINO prend en charge un large éventail d'applications AI, des tâches de vision par ordinateur telles que la détection d'objets et la classification d'images au traitement du langage naturel et à la reconnaissance vocale. Sa flexibilité en fait un choix idéal pour les scénarios de calcul en périphérie où la faible latence et l'utilisation efficace des ressources sont critiques. L'ensemble d'outils offre également un ensemble riche d'exemples et de documentation pour aider les utilisateurs à démarrer rapidement et à intégrer des capacités AI dans leurs projets.

En tant que projet open-source, OpenVINO bénéficie d'une communauté dynamique de contributeurs, garantissant un développement et une amélioration continus. Il inclut un support pour divers langages de programmation, principalement Python et C++, permettant aux développeurs de choisir leur environnement préféré. L'engagement de l'ensemble d'outils envers les normes ouvertes et la large compatibilité matérielle en fait un atout précieux pour quiconque cherchant à déployer des modèles AI dans des applications réelles avec des performances optimales.

  • CatégorieMLOps et déploiement de modèles
  • Modèle tarifaireOpen source
  • DéploiementCloud, Auto-hébergé
  • PlateformesWindows, Linux, macOS

  • Ensemble d'outils open-source pour l'inférence AI

  • Optimise les modèles d'apprentissage profond

  • Déploie l'inférence AI sur divers matériels

  • Prend en charge les CPU, GPU et autres accélérateurs

  • Comprend un Optimiseur de Modèle pour la conversion de modèles

  • Fournit un Moteur d'Inférence pour le déploiement API unifié

  • Prend en charge les modèles de TensorFlow, PyTorch, ONNX

  • Propose des techniques de quantification et de compression de modèles

  • Offre des techniques d'optimisation de graphes

  • Réduit la latence d'inférence et améliore le débit

  • Adapté aux tâches de vision par ordinateur

  • Applicable au traitement du langage naturel

  • Prend en charge les applications de reconnaissance vocale

  • Conçu pour les scénarios de calcul en périphérie

  • Bénéficie des contributions de la communauté

  1. Cloner le dépôt : Utilisez `git clone` pour obtenir le code source d'OpenVINO depuis GitHub.

  2. Installer les dépendances : Suivez les instructions dans le script `install_build_dependencies.sh` pour configurer les bibliothèques et outils nécessaires.

  3. Configurer la construction : Utilisez CMake pour configurer le processus de construction, en spécifiant le matériel cible et les composants souhaités.

  4. Construire OpenVINO : Compilez le code source en utilisant votre système de construction choisi (par exemple, Make, Ninja).

  5. Déployer des modèles : Convertissez vos modèles AI pré-entraînés à l'aide de l'Optimiseur de Modèle en Représentation Intermédiaire (IR) d'OpenVINO.

  6. Exécuter l'inférence : Utilisez l'API du Moteur d'Inférence dans votre application pour charger et exécuter des modèles optimisés sur votre appareil cible.

  7. Optimiser les performances : Expérimentez avec différentes techniques d'optimisation comme la quantification et la fusion de modèles pour atteindre les métriques de performance souhaitées.

  • Déploiement de Vision par Ordinateur
  • Traitement du Langage Naturel
  • Systèmes de Reconnaissance Vocale
  • Applications AI en Périphérie
  • Automatisation Industrielle
  • Analyse de Vente au Détail
  • Imagerie Médicale
  • Robotique et Systèmes Autonomes

Chez Intel

Fait partie de OpenVINO Toolkit.

Avis sur OpenVINO

Chargement...

Outils IA populaires comme OpenVINO

NVIDIA Model-Optimizer

Dépôts GitHub d'IA

NVIDIA Model-Optimizer est une bibliothèque unifiée offrant des techniques de pointe pour optimiser les modèles d'apprentissage profond. Elle inclut des méthodes telles que la…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Bibliothèque unifiée offrant des techniques de pointe pour optimiser les modèles d'apprentissage profond. Elle inclut des méthodes telles que la…NVIDIA Model-Optimizer est une bibliothèque unifiée offrant des techniques de pointe pour optimiser les modèles d'apprentissage profond. Elle inclut des méthodes telles que la…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

DeepInfer

Dépôts GitHub d'IA

DeepInfer est un cadre d'inférence haute performance et à grande échelle conçu pour les modèles DeepSeek. Il facilite des processus d'inférence efficaces et évolutifs, ce qui le…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Cadre d'inférence haute performance et à grande échelle conçu pour les modèles DeepSeek. Il facilite des processus d'inférence efficaces et évolutifs, ce qui le…DeepInfer est un cadre d'inférence haute performance et à grande échelle conçu pour les modèles DeepSeek. Il facilite des processus d'inférence efficaces et évolutifs, ce qui le…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

AirLLM

Dépôts GitHub d'IA

AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles

N°73 en Machine learning et data science

Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles
N°73 en Machine learning et data science

OpenVINO Toolkit

Frameworks IA

OpenVINO est une boîte à outils open-source pour déployer des solutions d'IA haute performance sur du matériel diversifié. Elle permet aux développeurs de convertir, d'optimiser…

Outils de vision par ordinateur
Voir l'outil

Frameworks IA

Boîte à outils open-source pour déployer des solutions d'IA haute performance sur du matériel diversifié. Elle permet aux développeurs de convertir, d'optimiser…OpenVINO est une boîte à outils open-source pour déployer des solutions d'IA haute performance sur du matériel diversifié. Elle permet aux développeurs de convertir, d'optimiser…

Outils de vision par ordinateur
Voir le Top 50 Frameworks IA

Kapitsa

Dépôts GitHub d'IA

Kapitsa est un moteur d'inférence optimisé conçu pour Apple Silicon, compatible avec les API OpenAI et Anthropic. Développé par Nace AI, il prend en charge les modèles Qwen et…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence optimisé conçu pour Apple Silicon, compatible avec les API OpenAI et Anthropic. Développé par Nace AI, il prend en charge les modèles Qwen et…Kapitsa est un moteur d'inférence optimisé conçu pour Apple Silicon, compatible avec les API OpenAI et Anthropic. Développé par Nace AI, il prend en charge les modèles Qwen et…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

Baseten

Plateformes IA

La plateforme d'inférence de Baseten permet aux utilisateurs de déployer et de mettre à l'échelle des modèles d'IA open-source et personnalisés de manière efficace. Elle offre une…

MLOps et déploiement de modèles

N°72 en Plateformes IA

Voir l'outil

Plateformes IA

La plateforme d'inférence de Baseten permet aux utilisateurs de déployer et de mettre à l'échelle des modèles d'IA open-source et personnalisés de manière efficace. Elle offre une…

En vedetteMLOps et déploiement de modèles
N°72 en Plateformes IA

TorchTitan

Dépôts GitHub d'IA

TorchTitan est une plateforme native PyTorch conçue pour l'entraînement de modèles d'IA générative. Elle fournit un cadre robuste pour le développement et l'optimisation de…

Plateformes de machine learning
Voir l'outil

Dépôts GitHub d'IA

Plateforme native PyTorch conçue pour l'entraînement de modèles d'IA générative. Elle fournit un cadre robuste pour le développement et l'optimisation de…TorchTitan est une plateforme native PyTorch conçue pour l'entraînement de modèles d'IA générative. Elle fournit un cadre robuste pour le développement et l'optimisation de…

Plateformes de machine learning
Voir le Top 250 Dépôts GitHub d'IA

trnrt

Dépôts GitHub d'IA

trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles

N°160 en MLOps et déploiement de modèles

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles
N°160 en MLOps et déploiement de modèles
1 sur 8