설명
LocalAI는 모든 기계에서 AI를 실행하는 것을 목표로 하는 MIT 라이센스의 오픈 소스 런타임입니다. OpenAI, Anthropic, Ollama 및 ElevenLabs와 호환되는 API를 노출하는 단일 바이너리를 패키징하여 대부분의 기존 클라이언트는 클라우드 제공자가 아닌 사용자의 하드웨어에서 실행되는 모델을 가리키도록 URL만 변경하면 됩니다. 이 프로젝트는 48,900개의 GitHub 스타를 기록했으며 현재 버전 4.8.0에 있습니다.
더 읽기
이 API 아래에서 LocalAI는 모델이 필요로 하는 별도의 추론 백엔드를 가져오는 얇은 코어로, llama.cpp, vLLM, SGLang 및 MLX와 같은 엔진을 포함하며, 모델의 구성에서 한 줄로 전환할 수 있습니다. 모델 갤러리는 한 번의 클릭으로 설치할 수 있는 1,255개 이상의 모델을 나열합니다. 모든 기능은 CPU에서 먼저 실행되도록 설계되었으며, 지속적인 통합에서 그렇게 테스트되며, GPU 가속은 x86_64 및 ARM64 하드웨어에서 CUDA, ROCm, SYCL, Metal 및 Vulkan을 통해 사용할 수 있습니다.
LocalAI는 기능을 여섯 가지 영역으로 조직합니다: Reason(언어 모델, 도구 호출 및 구조화된 출력), Listen(실시간 전사 및 화자 구분), Speak(음성 합성 및 음성 복제), See(비전, 탐지, 인식 및 깊이 추정), Create(이미지, 비디오, 음악 및 사운드 생성), Act(에이전트, MCP 연결, 기술 및 검색 보강 생성).
실시간 모드는 WebRTC를 통해 음성을 스트리밍하고 대화 중 도구 호출을 실행하며 음성을 다시 스트리밍하여 채팅 창이 아닌 실제 대화처럼 느껴지도록 합니다. Senses라는 별도의 기능 세트는 시스템에 실시간 전사와 화자 레이블, 약 527종의 소리 이벤트 탐지, 음성 또는 얼굴 인식을 제공하며, 모두 로컬에서 주로 CPU에서 실행되도록 설계되었습니다.
대규모 배포를 위해 LocalAI는 분산 라우팅, VRAM 인식 모델 배치, 접두사 캐시 친화성 및 NATS 기반 연합을 통한 기계 간 장애 조치를 추가하여 클러스터가 소프트웨어를 재구성하지 않고 하드웨어를 추가하여 성장할 수 있도록 합니다. Ettore Di Giacinto가 개발하였으며, llama.cpp 저자 Georgi Gerganov을 포함한 오픈 소스 AI 커뮤니티의 인물들에 의해 공개적으로 주목받았습니다. 이는 개발자와 기업이 자신의 인프라에서 AI 작업을 실행하고, 단일 노트북에서 GPU가 있는 방까지 자신의 하드웨어에서 데이터를 유지하고자 하는 이들을 대상으로 합니다.
- 카테고리머신러닝 플랫폼
- 요금제오픈소스
- 배포셀프 호스팅, 클라우드
- 플랫폼Linux, Windows, macOS
LocalAI의 핵심 기능
OpenAI-, Anthropic-, Ollama- 및 ElevenLabs 호환 API를 노출하는 단일 바이너리
교체 가능한 추론 백엔드: llama.cpp, vLLM, SGLang 및 MLX
CI에서 테스트된 CPU 우선 설계, 선택적 CUDA, ROCm, SYCL, Metal 및 Vulkan 가속
한 번의 클릭으로 설치 가능한 1,255개 이상의 모델을 갖춘 모델 갤러리
대화 중 도구 호출이 가능한 WebRTC를 통한 실시간 음성 모드
Senses 기능: 실시간 전사, 소리 이벤트 탐지 및 음성/얼굴 인식
하나의 런타임에서 텍스트, 비전, 이미지, 비디오, 음악 및 사운드 생성
MCP, 기술 및 검색 보강 생성을 통한 에이전트 지원
기계 간 VRAM 인식 라우팅 및 장애 조치를 통한 분산 클러스터링
LocalAI 사용 방법은?
LocalAI 설치: 운영 체제 및 아키텍처에 맞는 단일 바이너리 또는 컨테이너를 다운로드합니다.
모델 선택: 한 번의 클릭으로 설치할 수 있는 1,255개 이상의 내장 모델 갤러리에서 모델을 선택합니다.
클라이언트를 가리키기: 기존 OpenAI, Anthropic, Ollama 또는 ElevenLabs 클라이언트를 LocalAI의 API로 가리키도록 변경합니다.
엔진 선택: 모델의 구성에서 어떤 백엔드(llama.cpp, vLLM, SGLang 또는 MLX)에서 실행할지를 설정합니다.
기능 추가: 필요에 따라 음성, 비전, 이미지 또는 에이전트 기능을 활성화합니다.
확장: 더 많은 기계를 추가하고 LocalAI의 라우팅 및 장애 조치가 분산을 처리하도록 합니다.
LocalAI의 사용 사례
- 자체 호스팅된 채팅 API
- 로컬 음성 비서
- 다중 모달 로컬 런타임
- 다중 기계 AI 클러스터
