描述
LocalAI 是一个开源的 MIT 许可证运行时，其网站描述其目标是让 AI 在每台机器上运行。它打包了一个单一的二进制文件，提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API，因此大多数现有客户端只需更改 URL 即可指向在用户自己的硬件上运行的模型，而不是云提供商。该项目已获得 48,900 个 GitHub 星标，目前版本为 4.8.0。
阅读更多
在该 API 之下，LocalAI 是一个轻量核心，为模型所需的任何引擎引入一个单独的推理后端，其中包括 llama.cpp、vLLM、SGLang 和 MLX，只需在模型的配置中更改一行即可切换。模型库列出了超过 1,255 个可以一键安装的模型。每个功能都首先在 CPU 上运行，并在持续集成中以这种方式进行测试，同时在 x86_64 和 ARM64 硬件上提供 CUDA、ROCm、SYCL、Metal 和 Vulkan 的 GPU 加速。
LocalAI 将其功能组织为六个领域：Reason，用于语言模型、工具调用和结构化输出；Listen，用于实时转录和说话者标记；Speak，用于语音合成和声音克隆；See，用于视觉、检测、识别和深度估计；Create，用于图像、视频、音乐和声音生成；以及 Act，用于代理、MCP 连接、技能和检索增强生成。
实时模式通过 WebRTC 流式传输语音，在对话中运行工具调用，并将语音流回，旨在让人感觉像是实时对话，而不是聊天窗口。它称为 Senses 的一组独立功能提供实时转录，带有说话者标签，检测大约 527 种声音事件，以及语音或面部识别，所有这些都旨在本地运行，并主要在 CPU 上运行。
对于更大规模的部署，LocalAI 增加了分布式路由、VRAM 感知模型放置、前缀缓存亲和性和基于 NATS 的机器故障转移，因此集群可以通过添加硬件而不是重新配置软件来扩展。它由 Ettore Di Giacinto 构建，并受到开源 AI 社区中人物的公开关注，包括 llama.cpp 的作者 Georgi Gerganov。它面向希望在自己的基础设施上运行 AI 工作负载的开发者和企业，从单个笔记本电脑到一间 GPU 房间，同时保持数据在他们控制的硬件上。
- 类别机器学习平台
- 定价模式开源
- 部署自托管, 云端
- 平台Linux, Windows, macOS
LocalAI的核心功能
单一二进制文件，提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API
可更换的推理后端：llama.cpp、vLLM、SGLang 和 MLX
CPU 优先设计，在 CI 中进行测试，提供可选的 CUDA、ROCm、SYCL、Metal 和 Vulkan 加速
模型库，包含 1,255+ 个一键安装的模型
通过 WebRTC 的实时语音模式，支持对话中的工具调用
Senses 功能：实时转录、声音事件检测和语音/面部识别
在一个运行时中进行文本、视觉、图像、视频、音乐和声音生成
通过 MCP、技能和检索增强生成支持代理
具有 VRAM 感知路由和机器故障转移的分布式集群
如何使用 LocalAI？
安装 LocalAI：下载适合您操作系统和架构的单一二进制文件或容器。
选择模型：从内置的 1,255+ 个模型库中选择一个模型，一键安装。
指向您的客户端：将现有的 OpenAI、Anthropic、Ollama 或 ElevenLabs 客户端指向 LocalAI 的 API，而不是云。
选择引擎：在模型的配置中设置应运行的后端，llama.cpp、vLLM、SGLang 或 MLX。
添加功能：根据需要启用语音、视觉、图像或代理功能。
扩展：添加更多机器，让 LocalAI 的路由和故障转移处理分布。
LocalAI的使用案例
- 自托管聊天 API
- 本地语音助手
- 多模态本地运行时
- 多机器 AI 集群
