Descripción
LocalAI es un runtime de código abierto con licencia MIT cuyo sitio describe su objetivo como hacer que la IA funcione en cada máquina. Empaqueta un único binario que expone una API compatible con OpenAI, Anthropic, Ollama y ElevenLabs, por lo que la mayoría de los clientes existentes solo necesitan un cambio de URL para apuntar a modelos que se ejecutan en el hardware del usuario en lugar de en un proveedor de nube. El proyecto ha superado las 48,900 estrellas en GitHub y actualmente está en la versión 4.8.0.
Leer más
Debajo de esa API, LocalAI es un núcleo delgado que incorpora un backend de inferencia separado para el motor que un modelo necesita, entre ellos llama.cpp, vLLM, SGLang y MLX, cambiados con una línea en la configuración de un modelo. Una galería de modelos lista más de 1,255 modelos que se instalan con un clic. Cada característica está diseñada para ejecutarse primero en CPU y se prueba de esa manera en integración continua, con aceleración GPU disponible a través de CUDA, ROCm, SYCL, Metal y Vulkan en hardware x86_64 y ARM64.
LocalAI organiza sus capacidades en seis áreas: Razón, para modelos de lenguaje, llamadas a herramientas y salida estructurada; Escuchar, para transcripción en tiempo real y diarización de hablantes; Hablar, para síntesis de voz y clonación de voz; Ver, para visión, detección, reconocimiento y estimación de profundidad; Crear, para generación de imágenes, videos, música y sonido; y Actuar, para agentes, conexiones MCP, habilidades y generación aumentada por recuperación.
Un modo en tiempo real transmite voz a través de WebRTC, ejecuta llamadas a herramientas en medio de la conversación y transmite la voz de vuelta, con el objetivo de sentirse como una conversación en vivo en lugar de una ventana de chat. Un conjunto separado de características que llama Sentidos proporciona a un sistema en funcionamiento transcripción en vivo con etiquetas de hablantes, detección de aproximadamente 527 tipos de eventos sonoros y reconocimiento de voz o cara, todo diseñado para ejecutarse localmente y mayormente en CPU.
Para implementaciones más grandes, LocalAI agrega enrutamiento distribuido, colocación de modelos consciente de VRAM, afinidad de caché de prefijos y conmutación por error entre máquinas utilizando federación basada en NATS, de modo que un clúster puede crecer agregando hardware en lugar de reconfigurar software. Fue construido por Ettore Di Giacinto y ha sido destacado públicamente por figuras de la comunidad de IA de código abierto, incluido el autor de llama.cpp, Georgi Gerganov. Está dirigido a desarrolladores y empresas que desean ejecutar cargas de trabajo de IA en su propia infraestructura, desde una sola laptop hasta una sala de GPUs, mientras mantienen sus datos en hardware que controlan.
- CategoríaPlataformas de aprendizaje automático
- Modelo de preciosCódigo abierto
- ImplementaciónAutoalojado, Nube
- PlataformasLinux, Windows, macOS
Características principales de LocalAI
Binario único que expone APIs compatibles con OpenAI, Anthropic, Ollama y ElevenLabs
Backends de inferencia intercambiables: llama.cpp, vLLM, SGLang y MLX
Diseño centrado en CPU probado en CI, con aceleración opcional de CUDA, ROCm, SYCL, Metal y Vulkan
Galería de modelos con más de 1,255 modelos instalables con un clic
Modo de voz en tiempo real a través de WebRTC con llamadas a herramientas en medio de la conversación
Características de Sentidos: transcripción en vivo, detección de eventos sonoros y reconocimiento de voz/cara
Generación de texto, visión, imagen, video, música y sonido en un solo runtime
Soporte para agentes a través de MCP, habilidades y generación aumentada por recuperación
Clustering distribuido con enrutamiento consciente de VRAM y conmutación por error entre máquinas
¿Cómo usar LocalAI?
Instalar LocalAI: Descarga el binario único o contenedor para tu sistema operativo y arquitectura.
Elegir un modelo: Selecciona un modelo de la galería integrada de más de 1,255 modelos para instalar con un clic.
Apuntar tu cliente a él: Redirige un cliente existente de OpenAI, Anthropic, Ollama o ElevenLabs a la API de LocalAI en lugar de a la nube.
Elegir un motor: Establece qué backend, llama.cpp, vLLM, SGLang o MLX, debe ejecutar un modelo en su configuración.
Agregar capacidades: Activa características de voz, visión, imagen o agente según sea necesario.
Escalar: Agrega más máquinas y deja que el enrutamiento y la conmutación por error de LocalAI manejen la distribución.
Casos de uso de LocalAI
- API de chat autohospedada
- Asistente de voz local
- Runtime local multimodal
- Clúster de IA de múltiples máquinas
