Model Serving | Databricks

Deskripsi

Databricks Model Serving menyediakan solusi komprehensif bagi perusahaan yang ingin menerapkan model pembelajaran mesin klasik, model AI generatif, dan agen AI. Platform ini mendukung model milik, seperti Azure OpenAI dan AWS Bedrock, serta model sumber terbuka seperti Llama dan Mistral. Pengguna dapat menyajikan model sumber terbuka yang telah disesuaikan atau model ML klasik yang dilatih pada data mereka sendiri, memungkinkan fleksibilitas dalam penerapan model. Model yang disajikan dapat dengan mudah digunakan sebagai titik akhir dalam berbagai alur kerja, termasuk inferensi batch berskala besar dan aplikasi waktu nyata.

Salah satu fitur utama dari Databricks Model Serving adalah tata kelola, jejak, dan kemampuan pemantauan bawaan yang memastikan keluaran berkualitas tinggi. Ini sangat penting bagi organisasi yang memerlukan kepatuhan dan pengawasan ketat terhadap model AI mereka. Platform ini menyederhanakan proses penerapan untuk semua jenis model dan agen AI, memungkinkan pengguna untuk menerapkan model sumber terbuka yang telah dilatih sebelumnya atau model kustom yang dibangun berdasarkan data mereka sendiri, baik di CPU maupun GPU. Pembangunan kontainer otomatis dan manajemen infrastruktur mengurangi biaya pemeliharaan dan mempercepat penerapan, memungkinkan bisnis untuk fokus pada penyampaian nilai melalui sistem AI mereka.

Databricks Model Serving juga menawarkan manajemen terpadu untuk semua model, memudahkan akses dan pengelolaan model ML kustom seperti PyFunc dan scikit-learn, serta model dasar yang dihosting di Databricks atau penyedia lainnya. Antarmuka pengguna dan API yang terpadu menyederhanakan proses manajemen, meningkatkan pengalaman pengguna. Selain itu, platform ini memungkinkan inferensi batch yang mudah, memungkinkan inferensi AI tanpa server yang efisien pada dataset besar di berbagai jenis data dan model. Integrasi dengan Databricks SQL, Notebooks, dan Workflows memfasilitasi penerapan AI secara skala.

Platform ini dirancang untuk hemat biaya, menyajikan model sebagai API latensi rendah pada layanan tanpa server yang sangat tersedia dengan dukungan CPU dan GPU. Pengguna dapat meningkatkan dari nol untuk memenuhi kebutuhan kritis dan menurunkan kembali saat persyaratan berubah, dengan opsi harga yang fleksibel tersedia. Databricks menangani manajemen infrastruktur dan biaya pemeliharaan, memungkinkan organisasi untuk berkonsentrasi pada penyampaian nilai bisnis.

Fitur Inti Model Serving

• Penerapan terpadu untuk model AI

• Mendukung model ML klasik dan model AI generatif

• Tata kelola dan pemantauan bawaan

• Pembangunan kontainer otomatis

• Inferensi batch yang mudah

• Inferensi AI tanpa server

• API latensi rendah yang hemat biaya

• Antarmuka manajemen terpadu

Cara menggunakan Model Serving?

1. 1

   Terapkan: Pilih jenis model Anda dan terapkan di Databricks.

2. 2

   Integrasikan: Gunakan model yang disajikan sebagai titik akhir dalam alur kerja Anda.

3. 3

   Pantau: Manfaatkan alat tata kelola dan pemantauan bawaan untuk jaminan kualitas.

4. 4

   Skala: Sesuaikan sumber daya berdasarkan kebutuhan beban kerja Anda.

Kasus Penggunaan Model Serving

• Rekomendasi waktu nyata
• Pemrosesan batch
• Tata kelola model
• Penerapan model kustom
• Aplikasi AI yang dapat diskalakan

FAQ dari Model Serving

• Apa itu Databricks Model Serving?

  Databricks Model Serving adalah platform yang menyediakan inferensi model waktu nyata yang dapat diskalakan untuk berbagai model AI.

• Jenis model apa yang dapat diterapkan?

  Ini mendukung model ML klasik, model AI generatif, dan model milik serta sumber terbuka.

• Bagaimana tata kelola bekerja dalam Model Serving?

  Platform ini mencakup tata kelola bawaan, pelacakan jejak, dan pemantauan untuk memastikan kualitas model.

• Bisakah saya menggunakan data saya sendiri untuk pelatihan model?

  Ya, pengguna dapat melatih model ML klasik pada data mereka sendiri dan menerapkannya menggunakan Model Serving.

• Apakah ada dukungan untuk inferensi batch?

  Ya, Model Serving memungkinkan inferensi batch tanpa server yang efisien pada dataset besar.

• Apa opsi biaya untuk menggunakan Databricks Model Serving?

  Ini menawarkan harga fleksibel, termasuk bayar-per-token dan bayar untuk beban kerja komputasi yang disediakan.

• Bagaimana Databricks memastikan keamanan?

  Databricks menggabungkan fitur keamanan seperti enkripsi, kontrol akses, dan langkah-langkah kepatuhan.

• Infrastruktur apa yang dikelola oleh Databricks?

  Databricks menangani semua manajemen infrastruktur dan biaya pemeliharaan untuk pengguna.