Deskripsi
Databricks Model Serving menyediakan solusi komprehensif bagi perusahaan yang ingin menerapkan model pembelajaran mesin klasik, model AI generatif, dan agen AI. Platform ini mendukung model milik, seperti Azure OpenAI dan AWS Bedrock, serta model sumber terbuka seperti Llama dan Mistral. Pengguna dapat menyajikan model sumber terbuka yang telah disesuaikan atau model ML klasik yang dilatih pada data mereka sendiri, memungkinkan fleksibilitas dalam penerapan model. Model yang disajikan dapat dengan mudah digunakan sebagai titik akhir dalam berbagai alur kerja, termasuk inferensi batch berskala besar dan aplikasi waktu nyata.
Baca Selengkapnya
Salah satu fitur utama dari Databricks Model Serving adalah tata kelola, jejak, dan kemampuan pemantauan bawaan yang memastikan keluaran berkualitas tinggi. Ini sangat penting bagi organisasi yang memerlukan kepatuhan dan pengawasan ketat terhadap model AI mereka. Platform ini menyederhanakan proses penerapan untuk semua jenis model dan agen AI, memungkinkan pengguna untuk menerapkan model sumber terbuka yang telah dilatih sebelumnya atau model kustom yang dibangun berdasarkan data mereka sendiri, baik di CPU maupun GPU. Pembangunan kontainer otomatis dan manajemen infrastruktur mengurangi biaya pemeliharaan dan mempercepat penerapan, memungkinkan bisnis untuk fokus pada penyampaian nilai melalui sistem AI mereka.
Databricks Model Serving juga menawarkan manajemen terpadu untuk semua model, memudahkan akses dan pengelolaan model ML kustom seperti PyFunc dan scikit-learn, serta model dasar yang dihosting di Databricks atau penyedia lainnya. Antarmuka pengguna dan API yang terpadu menyederhanakan proses manajemen, meningkatkan pengalaman pengguna. Selain itu, platform ini memungkinkan inferensi batch yang mudah, memungkinkan inferensi AI tanpa server yang efisien pada dataset besar di berbagai jenis data dan model. Integrasi dengan Databricks SQL, Notebooks, dan Workflows memfasilitasi penerapan AI secara skala.
Platform ini dirancang untuk hemat biaya, menyajikan model sebagai API latensi rendah pada layanan tanpa server yang sangat tersedia dengan dukungan CPU dan GPU. Pengguna dapat meningkatkan dari nol untuk memenuhi kebutuhan kritis dan menurunkan kembali saat persyaratan berubah, dengan opsi harga yang fleksibel tersedia. Databricks menangani manajemen infrastruktur dan biaya pemeliharaan, memungkinkan organisasi untuk berkonsentrasi pada penyampaian nilai bisnis.
- KategoriMLOps & Penerapan Model
- Model HargaBayar per token
- PenerapanTanpa Server
- PlatformCloud
Fitur Inti Mosaic AI Model Serving
Penerapan terpadu untuk model AI
Mendukung model ML klasik dan model AI generatif
Tata kelola dan pemantauan bawaan
Pembangunan kontainer otomatis
Inferensi batch yang mudah
Inferensi AI tanpa server
API latensi rendah yang hemat biaya
Antarmuka manajemen terpadu
Cara menggunakan Mosaic AI Model Serving?
Terapkan: Pilih jenis model Anda dan terapkan di Databricks.
Integrasikan: Gunakan model yang disajikan sebagai titik akhir dalam alur kerja Anda.
Pantau: Manfaatkan alat tata kelola dan pemantauan bawaan untuk jaminan kualitas.
Skala: Sesuaikan sumber daya berdasarkan kebutuhan beban kerja Anda.
Kasus Penggunaan Mosaic AI Model Serving
- Rekomendasi waktu nyata
- Pemrosesan batch
- Tata kelola model
- Penerapan model kustom
- Aplikasi AI yang dapat diskalakan
