Databricks Feature Store

Deskripsi

Databricks Feature Store bertindak sebagai registri terpusat untuk fitur yang digunakan dalam model AI dan machine learning. Dengan mendaftarkan tabel fitur dan model dalam Unity Catalog, pengguna mendapatkan tata kelola terintegrasi, pelacakan lineage, join point-in-time, dan kemampuan untuk berbagi serta menemukan fitur di seluruh workspace. Platform ini menyederhanakan alur kerja pelatihan model secara keseluruhan, mulai dari ingest data dan pembuatan tabel fitur hingga pelatihan model dan inferensi batch, semuanya dalam lingkungan terpadu.

Kemampuan utama meliputi pipeline data untuk ingest data mentah, pembuatan tabel fitur, pelatihan model, dan melakukan inferensi batch. Platform ini juga menyediakan akses sekali klik ke endpoint penyajian model dan fitur dengan latensi milidetik, bersama dengan pemantauan data dan model. Ketika fitur dari Databricks Feature Store digunakan untuk pelatihan, model secara otomatis melacak lineage. Pada saat inferensi, model mengambil nilai fitur terbaru. Feature Store juga menangani komputasi fitur sesuai permintaan untuk aplikasi real-time, menghilangkan skew pelatihan-penyajian dan menyederhanakan kode sisi klien dengan mengelola semua pencarian dan komputasi fitur.

Untuk workspace yang diaktifkan dengan Unity Catalog, Databricks Feature Store menawarkan seperangkat alat yang kuat untuk mengembangkan, menemukan, berbagi, dan menyajikan fitur. Pengguna dapat membuat dan mengelola tabel fitur, mendefinisikan fitur deklaratif dengan agregasi jendela waktu, dan mematerialisasikannya untuk pelatihan offline atau penyajian online. Eksplorasi fitur difasilitasi melalui Catalog Explorer dan UI Fitur, dengan dukungan untuk tag untuk mengkategorikan dan mengelola tabel fitur. Platform ini memastikan kebenaran point-in-time untuk dataset pelatihan, mencerminkan nilai fitur pada saat observasi label dicatat. Online Feature Store tersedia untuk menyajikan data fitur ke aplikasi online dan model ML real-time, didukung oleh Databricks Lakebase. Penyajian model mencakup pencarian fitur otomatis dari toko online, dan endpoint penyajian fitur dapat diekspos untuk aplikasi eksternal. Komputasi fitur sesuai permintaan pada saat inferensi semakin meningkatkan kemampuan real-time. Tata kelola dan lineage dikelola melalui Unity Catalog, mengontrol akses dan memberikan visibilitas ke lineage tabel fitur, model, dan fungsi.

Fitur Inti Databricks Feature Store

• Registri fitur terpusat

• Integrasi Unity Catalog

• Tata kelola bawaan

• Pelacakan lineage fitur

• Join point-in-time

• Berbagi fitur lintas workspace

• Penemuan fitur

• Alur kerja pelatihan model terpadu

• Pipeline data untuk rekayasa fitur

• Kemampuan inferensi batch

• Endpoint penyajian fitur online

• Penyajian model real-time

• Komputasi fitur sesuai permintaan

• Menghilangkan skew pelatihan-penyajian

• Menyederhanakan kode sisi klien

Cara menggunakan Databricks Feature Store?

1. 1

   Kembangkan fitur: Buat dan kelola tabel fitur menggunakan API deklaratif.

2. 2

   Materialisasi fitur: Siapkan fitur deklaratif untuk pelatihan offline atau penyajian online.

3. 3

   Temukan fitur: Jelajahi dan kelola tabel fitur melalui Catalog Explorer dan UI Fitur.

4. 4

   Latih model: Gunakan tabel fitur untuk melatih model machine learning.

5. 5

   Sajikan fitur: Terapkan toko fitur online untuk aplikasi real-time.

6. 6

   Pantau data dan model: Lacak kinerja dan deteksi penyimpangan.

Kasus Penggunaan Databricks Feature Store

• Pelatihan Model ML
• Inferensi Real-time
• Manajemen Fitur
• Pelacakan Lineage Data
• Rekayasa Fitur Kolaboratif
• Skoring Batch
• Retrieval Augmented Generation

FAQ dari Databricks Feature Store

• Apa itu Databricks Feature Store?

  Databricks Feature Store adalah registri terpusat untuk fitur AI dan ML, terintegrasi dengan Unity Catalog, menyediakan kemampuan tata kelola, lineage, join point-in-time, dan penyajian online.

• Bagaimana Databricks Feature Store membantu pelatihan model?

  Ini memungkinkan model untuk secara otomatis melacak lineage ke fitur pelatihan dan memastikan bahwa komputasi fitur yang digunakan pada inferensi sama dengan yang digunakan selama pelatihan, menghilangkan skew pelatihan-penyajian.

• Apa manfaat menggunakan Unity Catalog dengan Databricks Feature Store?

  Integrasi Unity Catalog menyediakan tata kelola bawaan, pelacakan lineage, berbagi fitur lintas workspace, dan penemuan untuk tabel fitur dan model.

• Bisakah Databricks Feature Store menyajikan fitur secara real-time?

  Ya, platform ini menyediakan komputasi fitur sesuai permintaan untuk aplikasi real-time dan menawarkan endpoint penyajian fitur online dengan latensi milidetik.

• Bagaimana Databricks Feature Store menyederhanakan kode sisi klien?

  Platform ini menangani semua pencarian dan komputasi fitur, secara signifikan menyederhanakan kode sisi klien yang diperlukan untuk pengambilan dan penggunaan fitur.

• Jenis fitur apa yang dapat disimpan di Databricks Feature Store?

  Platform ini mendukung jenis fitur machine learning umum, termasuk vektor padat dan jarang, tensor, embedding (sebagai ArrayType atau MapType), dan teks (sebagai StringType).

• Bagaimana tata kelola fitur dikelola?

  Tata kelola fitur, termasuk kontrol akses ke tabel fitur, dikelola melalui Unity Catalog.

• Apa itu kebenaran point-in-time di Databricks Feature Store?

  Ini memastikan bahwa saat membuat dataset pelatihan, nilai fitur mencerminkan keadaan pada saat observasi label dicatat, mencegah kebocoran data.

• Apakah Databricks Feature Store mendukung berbagi fitur?

  Ya, platform ini memungkinkan berbagi dan penemuan fitur lintas workspace, memungkinkan tim untuk berkolaborasi dalam pengembangan dan penggunaan fitur.

• Apa itu endpoint penyajian fitur?

  Ini adalah endpoint yang menyajikan data fitur ke model dan aplikasi, baik di dalam maupun di luar Databricks, untuk inferensi real-time.