Deskripsi
Self-Hosted AI Stack adalah platform sumber terbuka yang dirancang untuk pengguna yang ingin menjalankan model AI, obrolan, pemrosesan dokumen, dan alat suara di infrastruktur mereka sendiri. Platform ini dibangun menggunakan Docker Compose, memungkinkan penyebaran yang mudah di server Linux lokal atau berbasis cloud. Pengguna dapat memilih untuk menyebarkan tumpukan ringan atau menyesuaikan konfigurasi mereka sesuai kebutuhan spesifik.
Baca Selengkapnya
Tumpukan ini mendukung menjalankan model AI lokal dengan InferCrate, didukung oleh Ollama, dan menyediakan kemampuan obrolan berbasis browser melalui AnythingLLM. Pemrosesan dan pengambilan dokumen difasilitasi oleh ParseCrate dan EmbedCrate, didukung oleh Docling, memungkinkan pencarian semantik dan peringkat ulang.
Untuk pemrosesan audio, ScribeCrate menawarkan layanan transkripsi, sementara SpeakCrate, didukung oleh Kokoro, menyediakan kemampuan teks-ke-suara. Platform ini juga mencakup GatewayCrate untuk merutekan permintaan model dan UplinkCrate untuk menghubungkan alat yang didukung.
Keamanan adalah prioritas, dengan penyebaran baru yang menghasilkan kunci API dan mengonfigurasi perlindungan kata sandi untuk AnythingLLM. Platform ini dilisensikan MIT, dan meskipun perangkat lunaknya gratis, pengguna mungkin mengalami biaya untuk perangkat keras, hosting cloud, atau penyedia eksternal.
Self-Hosted AI Stack sangat ideal untuk pengembang, administrator sistem, pengguna homelab, dan tim kecil yang mencari platform AI pribadi yang dapat mereka pahami, amankan, dan operasikan dengan percaya diri. Fleksibilitas platform dan fokus pada privasi menjadikannya pilihan menarik bagi mereka yang ingin mempertahankan kontrol atas infrastruktur AI mereka.
- KategoriPlatform Machine Learning
- Model HargaSumber Terbuka
- PenerapanDocker Compose
- PlatformLinux
Fitur Inti Self-Hosted AI Stack
Proyek Docker Compose sumber terbuka
Jalankan model AI lokal dan obrolan
Pemrosesan dan pengambilan dokumen
Transkripsi audio dan teks-ke-suara
Opsi penyebaran yang fleksibel
Akselerasi GPU NVIDIA opsional
Lisensi MIT
Kunci API dan perlindungan kata sandi
Cara menggunakan Self-Hosted AI Stack?
Terapkan: Siapkan Docker Compose di server Anda
Konfigurasi: Pilih layanan dan sesuaikan pengaturan
Jalankan: Mulai model dan alat lokal
Amankan: Terapkan kunci API dan perlindungan kata sandi
Kasus Penggunaan Self-Hosted AI Stack
- Penerapan Model AI Lokal
- Aplikasi Obrolan Pribadi
- Inteligensi Dokumen
- Pemrosesan Suara
- Integrasi Alat AI Kustom
