Descrição
LocalAI é um runtime de código aberto, licenciado sob MIT, cujo site descreve seu objetivo como fazer a IA funcionar em cada máquina. Ele empacota um único binário que expõe uma API compatível com OpenAI, Anthropic, Ollama e ElevenLabs, de modo que a maioria dos clientes existentes só precisa de uma alteração de URL para apontar para modelos executando no hardware do usuário em vez de um provedor de nuvem. O projeto já ultrapassou 48.900 estrelas no GitHub e está atualmente na versão 4.8.0.
Ler mais
Por trás dessa API, o LocalAI é um núcleo fino que puxa um backend de inferência separado para qual quer motor que um modelo precise, entre eles llama.cpp, vLLM, SGLang e MLX, trocados com uma linha na configuração de um modelo. Uma galeria de modelos lista mais de 1.255 modelos que podem ser instalados com um clique. Cada recurso é construído para rodar primeiro em CPU e é testado dessa forma em integração contínua, com aceleração de GPU disponível através de CUDA, ROCm, SYCL, Metal e Vulkan em hardware x86_64 e ARM64.
O LocalAI organiza suas capacidades em seis áreas: Raciocínio, para modelos de linguagem, chamadas de ferramentas e saída estruturada; Ouvir, para transcrição em tempo real e diarização de falantes; Falar, para síntese de fala e clonagem de voz; Ver, para visão, detecção, reconhecimento e estimativa de profundidade; Criar, para geração de imagem, vídeo, música e som; e Agir, para agentes, conexões MCP, habilidades e geração aumentada por recuperação.
Um modo em tempo real transmite fala via WebRTC, executa chamadas de ferramentas durante a conversa e retransmite a fala, visando parecer uma conversa ao vivo em vez de uma janela de chat. Um conjunto separado de recursos que ele chama de Sentidos fornece ao sistema em execução transcrição ao vivo com rótulos de falantes, detecção de aproximadamente 527 tipos de eventos sonoros e reconhecimento de voz ou rosto, todos projetados para rodar localmente e principalmente em CPU.
Para implantações maiores, o LocalAI adiciona roteamento distribuído, colocação de modelos ciente de VRAM, afinidade de cache de prefixo e failover entre máquinas usando federação baseada em NATS, de modo que um cluster possa crescer adicionando hardware em vez de reconfigurar software. É construído por Ettore Di Giacinto e foi destacado publicamente por figuras da comunidade de IA de código aberto, incluindo o autor do llama.cpp, Georgi Gerganov. Ele é direcionado a desenvolvedores e empresas que desejam executar cargas de trabalho de IA em sua própria infraestrutura, desde um único laptop até uma sala cheia de GPUs, enquanto mantém seus dados em hardware que controlam.
- CategoriaPlataformas de machine learning
- Modelo de preçosCódigo aberto
- ImplantaçãoAuto-hospedado, Nuvem
- PlataformasLinux, Windows, macOS
Recursos principais de LocalAI
Binário único expondo APIs compatíveis com OpenAI, Anthropic, Ollama e ElevenLabs
Backends de inferência intercambiáveis: llama.cpp, vLLM, SGLang e MLX
Design focado em CPU testado em CI, com aceleração opcional via CUDA, ROCm, SYCL, Metal e Vulkan
Galeria de modelos com mais de 1.255 modelos instaláveis com um clique
Modo de voz em tempo real via WebRTC com chamadas de ferramentas durante a conversa
Recursos de Sentidos: transcrição ao vivo, detecção de eventos sonoros e reconhecimento de voz/rosto
Geração de texto, visão, imagem, vídeo, música e som em um único runtime
Suporte a agentes via MCP, habilidades e geração aumentada por recuperação
Cluster distribuído com roteamento ciente de VRAM e failover entre máquinas
Como usar LocalAI?
Instale o LocalAI: Baixe o binário único ou o contêiner para seu sistema operacional e arquitetura.
Escolha um modelo: Selecione um modelo da galeria embutida de mais de 1.255 modelos para instalar com um clique.
Aponte seu cliente para ele: Redirecione um cliente OpenAI, Anthropic, Ollama ou ElevenLabs existente para a API do LocalAI em vez da nuvem.
Escolha um motor: Defina qual backend, llama.cpp, vLLM, SGLang ou MLX, um modelo deve rodar em sua configuração.
Adicione capacidades: Ative recursos de voz, visão, imagem ou agente conforme necessário.
Escale: Adicione mais máquinas e deixe o roteamento e failover do LocalAI gerenciarem a distribuição.
Casos de uso de LocalAI
- API de chat auto-hospedada
- Assistente de voz local
- Runtime local multi-modal
- Cluster de IA multi-máquina
