Description
LocalAI est un runtime open-source sous licence MIT dont le site décrit l'objectif comme étant de faire fonctionner l'IA sur chaque machine. Il regroupe un seul binaire qui expose une API compatible avec OpenAI, Anthropic, Ollama et ElevenLabs, de sorte que la plupart des clients existants n'ont besoin que d'un changement d'URL pour pointer vers des modèles fonctionnant sur le matériel de l'utilisateur plutôt que sur un fournisseur cloud. Le projet a dépassé 48 900 étoiles sur GitHub et est actuellement à la version 4.8.0.
Lire la suite
Sous cette API, LocalAI est un noyau léger qui intègre un backend d'inférence séparé pour le moteur dont un modèle a besoin, parmi lesquels llama.cpp, vLLM, SGLang et MLX, commuté par une ligne dans la configuration d'un modèle. Une galerie de modèles répertorie plus de 1 255 modèles qui s'installent en un clic. Chaque fonctionnalité est conçue pour fonctionner d'abord sur CPU et est testée de cette manière dans l'intégration continue, avec une accélération GPU disponible via CUDA, ROCm, SYCL, Metal et Vulkan sur du matériel x86_64 et ARM64.
LocalAI organise ses capacités en six domaines : Raison, pour les modèles de langage, l'appel d'outils et la sortie structurée ; Écouter, pour la transcription en temps réel et la diarisation des locuteurs ; Parler, pour la synthèse vocale et le clonage de voix ; Voir, pour la vision, la détection, la reconnaissance et l'estimation de profondeur ; Créer, pour la génération d'images, de vidéos, de musique et de sons ; et Agir, pour les agents, les connexions MCP, les compétences et la génération augmentée par récupération.
Un mode en temps réel diffuse la parole via WebRTC, exécute des appels d'outils en pleine conversation et diffuse la parole, visant à donner l'impression d'une conversation en direct plutôt que d'une fenêtre de chat. Un ensemble de fonctionnalités qu'il appelle Senses fournit un système en cours de transcription en direct avec des étiquettes de locuteur, la détection d'environ 527 types d'événements sonores, et la reconnaissance vocale ou faciale, le tout conçu pour fonctionner localement et principalement sur CPU.
Pour des déploiements plus importants, LocalAI ajoute un routage distribué, un placement de modèles conscient de la VRAM, une affinité de cache préfixe et un basculement entre les machines utilisant une fédération basée sur NATS, de sorte qu'un cluster peut croître en ajoutant du matériel plutôt qu'en reconfigurant le logiciel. Il est construit par Ettore Di Giacinto et a été mis en avant publiquement par des figures de la communauté IA open-source, y compris l'auteur de llama.cpp, Georgi Gerganov. Il cible les développeurs et les entreprises qui souhaitent exécuter des charges de travail d'IA sur leur propre infrastructure, d'un seul ordinateur portable jusqu'à une salle de GPU, tout en gardant leurs données sur du matériel qu'ils contrôlent.
- CatégoriePlateformes de machine learning
- Modèle tarifaireOpen source
- DéploiementAuto-hébergé, Cloud
- PlateformesLinux, Windows, macOS
Fonctionnalités principales de LocalAI
Binaire unique exposant des API compatibles avec OpenAI, Anthropic, Ollama et ElevenLabs
Backends d'inférence interchangeables : llama.cpp, vLLM, SGLang et MLX
Conception axée sur le CPU testée en CI, avec accélération optionnelle CUDA, ROCm, SYCL, Metal et Vulkan
Galerie de modèles avec plus de 1 255 modèles installables en un clic
Mode voix en temps réel via WebRTC avec des appels d'outils en pleine conversation
Fonctionnalités Senses : transcription en direct, détection d'événements sonores et reconnaissance vocale/faciale
Génération de texte, vision, image, vidéo, musique et son dans un seul runtime
Support des agents via MCP, compétences et génération augmentée par récupération
Clustering distribué avec routage conscient de la VRAM et basculement entre les machines
Comment utiliser LocalAI ?
Installer LocalAI : Téléchargez le binaire unique ou le conteneur pour votre système d'exploitation et votre architecture.
Choisir un modèle : Sélectionnez un modèle dans la galerie intégrée de plus de 1 255 modèles à installer en un clic.
Pointer votre client vers lui : Redirigez un client OpenAI, Anthropic, Ollama ou ElevenLabs existant vers l'API de LocalAI au lieu du cloud.
Choisir un moteur : Définissez quel backend, llama.cpp, vLLM, SGLang ou MLX, un modèle doit utiliser dans sa configuration.
Ajouter des capacités : Activez les fonctionnalités vocales, visuelles, d'image ou d'agent selon les besoins.
Élargir : Ajoutez plus de machines et laissez le routage et le basculement de LocalAI gérer la distribution.
Cas d'utilisation de LocalAI
- API de chat auto-hébergée
- Assistant vocal local
- Runtime local multi-modal
- Cluster IA multi-machine
