Beschreibung
LocalAI ist eine Open-Source-Laufzeit, lizenziert unter MIT, deren Ziel es ist, KI auf jeder Maschine auszuführen. Es verpackt eine einzelne Binärdatei, die eine API bereitstellt, die mit OpenAI, Anthropic, Ollama und ElevenLabs kompatibel ist, sodass die meisten bestehenden Clients nur eine URL-Änderung benötigen, um auf Modelle zuzugreifen, die auf der eigenen Hardware eines Benutzers anstelle eines Cloud-Anbieters ausgeführt werden. Das Projekt hat 48.900 GitHub-Sterne überschritten und befindet sich derzeit in der Version 4.8.0.
Weiterlesen
Unter dieser API ist LocalAI ein schlanker Kern, der ein separates Inferenz-Backend für jede Engine einbindet, die ein Modell benötigt, darunter llama.cpp, vLLM, SGLang und MLX, das mit einer Zeile in der Konfiguration eines Modells gewechselt werden kann. Eine Modellgalerie listet mehr als 1.255 Modelle auf, die mit einem Klick installiert werden können. Jede Funktion ist so konzipiert, dass sie zuerst auf der CPU läuft und auf diese Weise in der kontinuierlichen Integration getestet wird, wobei GPU-Beschleunigung über CUDA, ROCm, SYCL, Metal und Vulkan auf x86_64- und ARM64-Hardware verfügbar ist.
LocalAI organisiert seine Funktionen in sechs Bereiche: Reason für Sprachmodelle, Toolaufrufe und strukturierte Ausgaben; Listen für Echtzeit-Transkription und Sprecher-Diarisation; Speak für Sprachsynthese und Sprachklonierung; See für Vision, Erkennung, Identifikation und Tiefenschätzung; Create für Bild-, Video-, Musik- und Klanggenerierung; und Act für Agenten, MCP-Verbindungen, Fähigkeiten und retrieval-augmented generation.
Ein Echtzeitmodus streamt Sprache über WebRTC, führt Toolaufrufe während des Gesprächs aus und streamt die Sprache zurück, mit dem Ziel, sich wie ein Live-Gespräch und nicht wie ein Chatfenster anzufühlen. Ein separates Set von Funktionen, das Senses genannt wird, bietet ein laufendes System mit Live-Transkription mit Sprecherlabels, Erkennung von etwa 527 Arten von Schallereignissen und Sprach- oder Gesichtserkennung, alles so konzipiert, dass es lokal und größtenteils auf der CPU läuft.
Für größere Bereitstellungen fügt LocalAI verteilte Routing-Funktionen, VRAM-bewusste Platzierung von Modellen, Prefix-Cache-Affinität und Failover über Maschinen hinweg hinzu, wobei eine NATS-basierte Föderation verwendet wird, sodass ein Cluster durch Hinzufügen von Hardware wachsen kann, anstatt Software neu zu konfigurieren. Es wurde von Ettore Di Giacinto entwickelt und wurde öffentlich von Persönlichkeiten der Open-Source-KI-Community hervorgehoben, darunter Georgi Gerganov, der Autor von llama.cpp. Es richtet sich an Entwickler und Unternehmen, die KI-Workloads auf ihrer eigenen Infrastruktur ausführen möchten, von einem einzelnen Laptop bis hin zu einem Raum voller GPUs, während sie ihre Daten auf Hardware behalten, die sie kontrollieren.
- KategorieMachine-Learning-Plattformen
- PreismodellOpen Source
- BereitstellungSelbst gehostet, Cloud
- PlattformenLinux, Windows, macOS
LocalAI's Kernfunktionen
Einzelne Binärdatei, die OpenAI-, Anthropic-, Ollama- und ElevenLabs-kompatible APIs bereitstellt
Austauschbare Inferenz-Backends: llama.cpp, vLLM, SGLang und MLX
CPU-first-Design, das in CI getestet wurde, mit optionaler CUDA-, ROCm-, SYCL-, Metal- und Vulkan-Beschleunigung
Modellgalerie mit über 1.255 Modellen, die mit einem Klick installiert werden können
Echtzeit-Sprachmodus über WebRTC mit Toolaufrufen während des Gesprächs
Senses-Funktionen: Live-Transkription, Schallereigniserkennung und Sprach-/Gesichtserkennung
Text-, Vision-, Bild-, Video-, Musik- und Klanggenerierung in einer Laufzeit
Agentenunterstützung über MCP, Fähigkeiten und retrieval-augmented generation
Verteilte Clusterbildung mit VRAM-bewusstem Routing und Failover über Maschinen
Wie verwendet man LocalAI?
Installieren Sie LocalAI: Laden Sie die einzelne Binärdatei oder den Container für Ihr Betriebssystem und Ihre Architektur herunter.
Wählen Sie ein Modell: Wählen Sie ein Modell aus der integrierten Galerie von über 1.255 Modellen aus, um es mit einem Klick zu installieren.
Richten Sie Ihren Client darauf aus: Ändern Sie einen bestehenden OpenAI-, Anthropic-, Ollama- oder ElevenLabs-Client so, dass er auf die API von LocalAI anstelle der Cloud verweist.
Wählen Sie eine Engine: Legen Sie fest, welches Backend, llama.cpp, vLLM, SGLang oder MLX, ein Modell in seiner Konfiguration verwenden soll.
Fügen Sie Funktionen hinzu: Aktivieren Sie Sprach-, Sicht-, Bild- oder Agentenfunktionen nach Bedarf.
Skalieren Sie: Fügen Sie weitere Maschinen hinzu und lassen Sie das Routing und Failover von LocalAI die Verteilung übernehmen.
LocalAI's Anwendungsfälle
- Selbstgehostete Chat-API
- Lokaler Sprachassistent
- Multi-modale lokale Laufzeit
- Multi-Maschinen-KI-Cluster
