ZETIC Melange

L'exécution de modèles d'IA localement offre des avantages significatifs. Elle élimine la latence du cloud, garantissant des performances en temps réel. Les coûts sont réduits en évitant les dépenses coûteuses en GPU et en jetons cloud. La confidentialité est améliorée car toutes les données restent sur l'appareil personnel de l'utilisateur. De plus, l'IA sur appareil offre un accès hors ligne, permettant une fonctionnalité sans connexion Internet.

La plateforme Melange simplifie l'ensemble du flux de travail de déploiement en trois étapes simples : Télécharger, Benchmarker et Déployer. Les utilisateurs peuvent télécharger leurs modèles dans divers formats, y compris TorchScript, TensorFlow et ONNX, ou en fournissant un lien Hugging Face, ou en sélectionnant parmi une bibliothèque de modèles pré-optimisés. Après le téléchargement, Melange benchmarke les performances du modèle sur plus de 200 appareils physiques, fournissant des rapports détaillés sur la latence et la précision pour chaque matériel cible. Cela permet aux utilisateurs de sélectionner la solution la plus optimisée pour leurs besoins spécifiques. Enfin, le déploiement est réalisé avec un simple copier-coller d'un bloc de code de trois lignes, intégrant le modèle optimisé dans une application mobile avec un extrait de code prêt à l'emploi.

Melange offre un impact significativement plus rapide et plus optimisé par rapport aux méthodes traditionnelles. Il réduit le temps de déploiement de mois à quelques heures grâce à une optimisation automatisée et consciente du matériel. La plateforme débloque l'accélération NPU complète, atteignant des vitesses jusqu'à 60 fois supérieures à celles du CPU et réduisant la taille du modèle de 50 % pour une latence ultra-faible. L'implémentation peut être réalisée en moins de 6 heures, remplaçant des mois de réglage manuel du NPU. Melange est optimisé pour les meilleures performances grâce à un déploiement automatisé avec une quantification adaptée aux architectures NPU spécifiques, maximisant le débit et préservant la précision sans ingénierie manuelle.

L'avantage ZETIC réside dans son pipeline entièrement automatisé, son accélération hybride (CPU + GPU + NPU), son simple déploiement en code à 3 lignes et ses tests étendus sur plus de 200 appareils. Il prend en charge un large éventail d'options d'importation de modèles et s'étend au-delà des appareils mobiles pour des solutions d'IA embarquée pour les ordinateurs industriels et les microcontrôleurs. Melange remplace le réglage manuel du CPU par un pipeline automatisé et accéléré par NPU, offrant une alternative supérieure à la gestion fragmentée et au codage manuel complexe.