Deskripsi
Seldon Core 2 adalah kerangka kerja MLOps dan LLMOps komprehensif yang dirancang untuk penerapan, pengelolaan, dan penskalaan sistem AI dalam lingkungan Kubernetes. Ini menyediakan pendekatan standar untuk menerapkan beragam jenis model, baik di tempat (on-premises) maupun di cloud mana pun, memastikan aplikasi siap produksi secara langsung. Kerangka kerja ini sangat mahir dalam menangani model tunggal serta aplikasi yang kompleks, modular, dan berpusat pada data.
Baca Selengkapnya
Kemampuan kerangka kerja ini meluas ke pembangunan aplikasi AI yang dapat disusun melalui pipeline, yang dapat memanfaatkan teknologi seperti Kafka untuk streaming data real-time antar komponen yang berbeda. Ini menawarkan fitur penskalaan otomatis yang kuat untuk model dan komponen aplikasi, yang didorong oleh logika asli atau kustom. Untuk efisiensi biaya, Seldon Core mendukung penyajian multi-model, yang memungkinkan konsolidasi beberapa model pada server inferensi bersama, dan fungsionalitas overcommit untuk menerapkan lebih banyak model daripada memori yang tersedia, mengurangi biaya infrastruktur untuk sumber daya yang kurang dimanfaatkan.
Seldon Core juga memfasilitasi eksperimen melalui kemampuan peruteannya, yang memungkinkan pengujian A/B dan penyebaran bayangan (shadow deployment) untuk model atau pipeline kandidat. Pengguna dapat menerapkan logika kustom, deteksi penyimpangan (drift) dan outlier, serta berintegrasi dengan Large Language Models (LLM) melalui komponen kustom plug-and-play, yang terintegrasi secara mulus dengan ekosistem produk ML/AI Seldon yang lebih luas. Kerangka kerja ini dipengaruhi oleh penelitian tentang generasi berikutnya dari kerangka kerja penyajian model ML, yang bertujuan untuk mengatasi keinginan utama untuk penyajian model tingkat lanjut.
Instalasi dan konfigurasi dikelola di dalam Kubernetes, dengan dokumentasi ekstensif yang tersedia untuk server, model, pipeline, eksperimen, dan penyetelan kinerja. Seldon Core didistribusikan di bawah ketentuan Business Source License, dengan semua kontribusi juga dilisensikan di bawah ketentuan ini. Proyek ini dikembangkan secara aktif, dengan kehadiran komunitas yang kuat dan pembaruan rutin, menjadikannya alat yang ampuh bagi organisasi yang ingin mengoperasionalkan inisiatif AI mereka dalam skala besar.
- KategoriMLOps & Penerapan Model
- Model HargaOpen source
- PenerapanKubernetes
Fitur Inti Seldon Core
Kerangka kerja MLOps dan LLMOps
Penerapan native Kubernetes
Penerapan model standar
Aplikasi AI modular dan berpusat pada data
Pipeline AI yang dapat disusun
Streaming data real-time dengan Kafka
Penskalaan otomatis untuk model dan komponen
Penyajian multi-model untuk efisiensi biaya
Overcommit untuk peningkatan kepadatan model
Pengujian A/B dan penyebaran bayangan
Integrasi komponen kustom (LLM, deteksi penyimpangan)
Siap produksi secara langsung
Dukungan penerapan on-premise dan cloud
Memulai dengan Seldon Core
Deploy: Kemas dan terapkan model machine learning dan aplikasi AI Anda di Kubernetes.
Configure: Siapkan pipeline, penskalaan otomatis, dan konfigurasi penyajian multi-model.
Integrate: Gabungkan komponen kustom untuk logika lanjutan dan LLM.
Monitor: Manfaatkan kemampuan pemantauan bawaan untuk sistem produksi.
Manage: Awasi dan kelola ribuan model machine learning produksi.
Optimize: Sesuaikan kinerja dan bereksperimen dengan strategi perutean model yang berbeda.
Kasus Penggunaan Seldon Core
- Penerapan Model
- Orkestrasi Aplikasi AI
- Inferensi Real-time
- Optimasi Biaya
- Eksperimen Model
- LLMOps
- AI Berpusat pada Data
