Deskripsi
LocalAI adalah runtime sumber terbuka yang dilisensikan MIT yang tujuannya adalah untuk membuat AI berjalan di setiap mesin. Ini mengemas satu biner yang mengekspos API yang kompatibel dengan OpenAI, Anthropic, Ollama, dan ElevenLabs, sehingga sebagian besar klien yang ada hanya perlu mengubah URL untuk menunjuk ke model yang berjalan di perangkat keras pengguna sendiri alih-alih penyedia cloud. Proyek ini telah mendapatkan 48.900 bintang di GitHub dan saat ini berada di versi 4.8.0.
Baca Selengkapnya
Di bawah API tersebut, LocalAI adalah inti tipis yang menarik backend inferensi terpisah untuk mesin mana pun yang dibutuhkan model, di antaranya llama.cpp, vLLM, SGLang, dan MLX, yang dapat diubah dengan satu baris dalam konfigurasi model. Galeri model mencantumkan lebih dari 1.255 model yang dapat diinstal dengan satu klik. Setiap fitur dirancang untuk berjalan di CPU terlebih dahulu dan diuji dengan cara itu dalam integrasi berkelanjutan, dengan akselerasi GPU tersedia di seluruh CUDA, ROCm, SYCL, Metal, dan Vulkan pada perangkat keras x86_64 dan ARM64.
LocalAI mengorganisir kemampuannya ke dalam enam area: Reason, untuk model bahasa, pemanggilan alat, dan keluaran terstruktur; Listen, untuk transkripsi waktu nyata dan diarization pembicara; Speak, untuk sintesis suara dan kloning suara; See, untuk visi, deteksi, pengenalan, dan estimasi kedalaman; Create, untuk generasi gambar, video, musik, dan suara; dan Act, untuk agen, koneksi MCP, keterampilan, dan generasi yang ditingkatkan dengan pengambilan.
Mode waktu nyata mengalirkan suara melalui WebRTC, menjalankan pemanggilan alat di tengah percakapan, dan mengalirkan suara kembali, bertujuan untuk terasa seperti percakapan langsung alih-alih jendela obrolan. Sekelompok fitur terpisah yang disebut Senses memberikan sistem yang berjalan transkripsi langsung dengan label pembicara, deteksi sekitar 527 jenis peristiwa suara, dan pengenalan suara atau wajah, semuanya dirancang untuk berjalan secara lokal dan sebagian besar di CPU.
Untuk penyebaran yang lebih besar, LocalAI menambahkan pengaturan rute terdistribusi, penempatan model yang memperhatikan VRAM, afinitas cache-prefiks, dan failover di seluruh mesin menggunakan federasi berbasis NATS, sehingga kluster dapat tumbuh dengan menambahkan perangkat keras alih-alih mengonfigurasi ulang perangkat lunak. Ini dibangun oleh Ettore Di Giacinto dan telah disorot secara publik oleh tokoh-tokoh dalam komunitas AI sumber terbuka, termasuk penulis llama.cpp Georgi Gerganov. Ini menargetkan pengembang dan bisnis yang ingin menjalankan beban kerja AI di infrastruktur mereka sendiri, dari satu laptop hingga ruangan penuh GPU, sambil menjaga data mereka di perangkat keras yang mereka kendalikan.
- KategoriPlatform Machine Learning
- Model HargaOpen source
- PenerapanDi-host sendiri, Cloud
- PlatformLinux, Windows, macOS
Fitur Inti LocalAI
Biner tunggal yang mengekspos API yang kompatibel dengan OpenAI, Anthropic, Ollama, dan ElevenLabs
Backend inferensi yang dapat ditukar: llama.cpp, vLLM, SGLang, dan MLX
Desain CPU-pertama yang diuji dalam CI, dengan akselerasi CUDA, ROCm, SYCL, Metal, dan Vulkan opsional
Galeri model dengan lebih dari 1.255 model yang dapat diinstal dengan satu klik
Mode suara waktu nyata melalui WebRTC dengan pemanggilan alat di tengah percakapan
Fitur Senses: transkripsi langsung, deteksi peristiwa suara, dan pengenalan suara/wajah
Generasi teks, visi, gambar, video, musik, dan suara dalam satu runtime
Dukungan agen melalui MCP, keterampilan, dan generasi yang ditingkatkan dengan pengambilan
Kluster terdistribusi dengan pengaturan rute yang memperhatikan VRAM dan failover di seluruh mesin
Cara menggunakan LocalAI?
Instal LocalAI: Unduh biner tunggal atau kontainer untuk sistem operasi dan arsitektur Anda.
Pilih model: Pilih model dari galeri bawaan yang berisi lebih dari 1.255 model untuk diinstal dengan satu klik.
Arahkan klien Anda ke sana: Arahkan klien OpenAI, Anthropic, Ollama, atau ElevenLabs yang ada ke API LocalAI alih-alih ke cloud.
Pilih mesin: Atur backend mana, llama.cpp, vLLM, SGLang, atau MLX, yang harus dijalankan model dalam konfigurasinya.
Tambahkan kemampuan: Aktifkan fitur suara, visi, gambar, atau agen sesuai kebutuhan.
Skala keluar: Tambahkan lebih banyak mesin dan biarkan pengaturan rute dan failover LocalAI menangani distribusi.
Kasus Penggunaan LocalAI
- API obrolan yang dihosting sendiri
- Asisten suara lokal
- Runtime lokal multi-modal
- Kluster AI multi-mesin
