Description
LiteRT représente la nouvelle génération de déploiement ML sur appareil de Google, évoluant à partir du TensorFlow Lite largement adopté. Ce framework est conçu pour le déploiement ML et GenAI haute performance sur une vaste gamme de plateformes embarquées. Il fournit un pipeline efficace pour la conversion, l'exécution et l'optimisation des modèles, spécifiquement adapté aux contraintes et aux exigences des environnements sur appareil.
Lire la suite
Construit sur la base éprouvée de TensorFlow Lite, LiteRT vise à offrir une faible latence et une confidentialité améliorée pour les applications s'exécutant directement sur des milliards d'appareils. Sa compatibilité multiplateforme simplifie le déploiement de capacités d'IA sophistiquées, y compris la GenAI, en offrant une accélération matérielle simplifiée et un support multi-framework. Les développeurs peuvent utiliser des modèles .tflite existants ou convertir des modèles à partir de frameworks tels que PyTorch, JAX et TensorFlow. La boîte à outils d'optimisation LiteRT permet la quantification post-entraînement, affinant davantage l'efficacité du modèle.
LiteRT prend en charge une gamme de scénarios de déploiement, de l'intégration de modèles pré-entraînés dans des applications à la création de modèles personnalisés avancés avec des optimisations matérielles approfondies. Il est conçu pour permettre aux développeurs d'apporter l'IA de pointe, y compris des compétences agentiques avancées et des capacités de planification multi-étapes avec des modèles comme Gemma, directement sur l'appareil. Le framework se concentre également sur l'expansion du support d'accélération matérielle, notamment pour les NPU MediaTek et Qualcomm, débloquant des performances maximales pour les tâches de génération d'IA sur ces chipsets.
Pour les utilisateurs existants de TensorFlow Lite, la transition vers LiteRT offre des performances améliorées et des API unifiées sur des plateformes telles qu'Android, Desktop et Web. L'introduction de l'API CompiledModel simplifie encore le déploiement en automatisant la sélection matérielle et en permettant une exécution asynchrone. LiteRT-LM permet spécifiquement le déploiement de modèles de langage sur les appareils portables et les plateformes basées sur navigateur, démontrant sa polyvalence pour diverses applications d'IA embarquée. Les contributions de la communauté sont encouragées via son dépôt GitHub, et des modèles open-weight optimisés sont accessibles via le Hugging Face Hub.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifaireOpen source
- DéploiementSur l'appareil
- PlateformesAndroid, Web
Fonctionnalités principales de LiteRT
Déploiement ML et GenAI haute performance sur appareil
Conversion efficace de modèles depuis PyTorch, JAX, TensorFlow
Runtime optimisé pour les plateformes embarquées
Boîte à outils de quantification post-entraînement
Compatibilité multiplateforme (Android, Desktop, Web)
Accélération matérielle simplifiée
Support multi-framework
API CompiledModel pour la sélection matérielle automatisée
LiteRT-LM pour les modèles de langage sur appareil
Confidentialité améliorée et faible latence
Évolue de la base TensorFlow Lite
Supporte l'accélération NPU sur les chipsets MediaTek et Qualcomm
Premiers pas avec LiteRT
Obtenir le modèle : Utilisez des modèles .tflite existants ou convertissez des modèles PyTorch, JAX ou TensorFlow.
Optimiser le modèle : Utilisez la boîte à outils d'optimisation LiteRT pour la quantification post-entraînement.
Déployer le modèle : Intégrez votre modèle optimisé avec LiteRT, en sélectionnant l'accélérateur optimal.
Exécuter le modèle : Déployez votre application sur les appareils embarqués cibles.
Explorer les exemples : Référez-vous à GitHub pour des applications d'exemple complètes de bout en bout.
Accéder aux modèles : Trouvez des modèles GenAI open-weight optimisés sur Hugging Face.
Cas d'utilisation de LiteRT
- Chatbots sur appareil
- Applications d'IA embarquée
- IA sur appareil portable
- IA basée sur navigateur
- Expériences Visuelles et Audio
- Compétences Agentiques
- Optimisation de modèles personnalisés
- Déploiement Multiplateforme
