Описание
LocalAI — это открытая среда выполнения с лицензией MIT, цель которой заключается в том, чтобы сделать ИИ доступным на каждом устройстве. Она упаковывает один бинарный файл, который предоставляет API, совместимый с OpenAI, Anthropic, Ollama и ElevenLabs, так что большинству существующих клиентов нужно лишь изменить URL, чтобы указать на модели, работающие на собственном оборудовании пользователя, а не на облачном провайдере. Проект получил более 48,900 звезд на GitHub и в настоящее время находится на версии 4.8.0.
Читать далее
Под этим API LocalAI представляет собой тонкое ядро, которое подключает отдельный бэкенд вывода для любого движка, который требуется модели, среди которых llama.cpp, vLLM, SGLang и MLX, переключаемых одной строкой в конфигурации модели. Галерея моделей содержит более 1,255 моделей, которые устанавливаются в один клик. Каждая функция разработана для работы в первую очередь на CPU и тестируется таким образом в непрерывной интеграции, с доступным ускорением GPU через CUDA, ROCm, SYCL, Metal и Vulkan на оборудовании x86_64 и ARM64.
LocalAI организует свои возможности в шесть областей: Reason — для языковых моделей, вызова инструментов и структурированного вывода; Listen — для транскрипции в реальном времени и диаризации говорящих; Speak — для синтеза речи и клонирования голоса; See — для зрения, обнаружения, распознавания и оценки глубины; Create — для генерации изображений, видео, музыки и звука; и Act — для агентов, соединений MCP, навыков и генерации с дополнением извлечения.
Режим реального времени передает речь через WebRTC, выполняет вызовы инструментов в процессе разговора и передает речь обратно, стремясь создать ощущение живого общения, а не чата. Отдельный набор функций, который он называет Senses, предоставляет работающей системе живую транскрипцию с метками говорящих, обнаружение примерно 527 видов звуковых событий и распознавание голоса или лиц, все это предназначено для работы локально и в основном на CPU.
Для более крупных развертываний LocalAI добавляет распределенную маршрутизацию, размещение моделей с учетом VRAM, аффинность к кэшу префиксов и резервирование между машинами с использованием федерации на основе NATS, так что кластер может расти, добавляя оборудование, а не перенастраивая программное обеспечение. Он разработан Этторе Ди Джачинто и был публично отмечен фигурами из сообщества открытого ИИ, включая автора llama.cpp Георгия Герганова. Он нацелен на разработчиков и компании, которые хотят запускать рабочие нагрузки ИИ на своей инфраструктуре, от одного ноутбука до комнаты с GPU, сохраняя свои данные на оборудовании, которым они управляют.
- КатегорияПлатформы машинного обучения
- Модель ценообразованияОткрытый код
- РазвёртываниеНа своём сервере, Облако
- ПлатформыLinux, Windows, macOS
Основные функции LocalAI
Единый бинарный файл, предоставляющий API, совместимые с OpenAI, Anthropic, Ollama и ElevenLabs
Заменяемые бэкенды вывода: llama.cpp, vLLM, SGLang и MLX
Дизайн с приоритетом на CPU, протестированный в CI, с опциональным ускорением CUDA, ROCm, SYCL, Metal и Vulkan
Галерея моделей с более чем 1,255 моделями, устанавливаемыми в один клик
Режим голоса в реальном времени через WebRTC с вызовами инструментов в процессе разговора
Функции Senses: живая транскрипция, обнаружение звуковых событий и распознавание голоса/лиц
Генерация текста, зрения, изображений, видео, музыки и звука в одной среде выполнения
Поддержка агентов через MCP, навыки и генерацию с дополнением извлечения
Распределенное кластеризование с маршрутизацией, учитывающей VRAM, и резервированием между машинами
Как использовать LocalAI?
Установите LocalAI: загрузите единый бинарный файл или контейнер для вашей операционной системы и архитектуры.
Выберите модель: выберите модель из встроенной галереи более чем 1,255 моделей для установки в один клик.
Настройте клиента: перенаправьте существующий клиент OpenAI, Anthropic, Ollama или ElevenLabs на API LocalAI вместо облака.
Выберите движок: установите, какой бэкенд, llama.cpp, vLLM, SGLang или MLX, должна использовать модель в ее конфигурации.
Добавьте возможности: включите функции голоса, зрения, изображений или агентов по мере необходимости.
Масштабируйте: добавьте больше машин и позвольте маршрутизации и резервированию LocalAI управлять распределением.
Варианты использования LocalAI
- Самостоятельно размещаемый чат API
- Локальный голосовой помощник
- Многофункциональная локальная среда выполнения
- AI кластер на нескольких машинах
