Cortex

Deskripsi

Cortex adalah kerangka kerja open-source yang dirancang untuk menyederhanakan penerapan dan pengelolaan model machine learning di lingkungan produksi. Ini menawarkan infrastruktur yang kuat untuk menskalakan beban kerja ML secara efisien, melayani berbagai kebutuhan operasional mulai dari prediksi real-time hingga pemrosesan batch skala besar.

Platform ini mendukung beban kerja serverless, memungkinkan respons real-time yang diskalakan secara otomatis berdasarkan volume permintaan yang masuk. Untuk tugas asinkron, Cortex dapat memproses permintaan di latar belakang dan diskalakan secara otomatis sesuai dengan panjang antrean. Ini juga memfasilitasi pemrosesan batch, memungkinkan pekerjaan terdistribusi dan toleran terhadap kesalahan untuk berjalan sesuai permintaan.

Manajemen klaster otomatis adalah fitur inti, menyediakan penskalaan otomatis elastis untuk klaster menggunakan instance CPU dan GPU. Ini mendukung menjalankan beban kerja pada instance spot dengan pencadangan otomatis dan memungkinkan pembuatan beberapa klaster dengan konfigurasi yang berbeda. Penyediaan dikelola secara deklaratif atau melalui penyedia Terraform, terintegrasi secara mulus dengan pipeline CI/CD.

Cortex menekankan observabilitas, memungkinkan metrik dikirim ke alat pemantauan apa pun atau memanfaatkan dasbor Grafana yang sudah dibuat sebelumnya. Streaming log didukung untuk alat manajemen log apa pun, dengan integrasi yang sudah dibuat sebelumnya untuk AWS CloudWatch. Kerangka kerja ini dibangun khusus untuk AWS EKS, memastikan penskalaan beban kerja yang andal dan hemat biaya. Ini terintegrasi dengan VPC untuk privasi data dan IAM untuk alur kerja otentikasi dan otorisasi.

Meskipun proyek ini dicatat tidak lagi aktif dipelihara oleh penulis aslinya, arsitektur dan fiturnya menawarkan solusi komprehensif bagi organisasi yang ingin mengoperasionalkan machine learning dalam skala besar pada infrastruktur AWS. Sejarah proyek di GitHub menunjukkan pengembangan berkelanjutan dan kontribusi komunitas, mencerminkan kegunaannya di ruang MLOps.

Fitur Inti Cortex

• Infrastruktur produksi untuk machine learning skala besar

• Menerapkan, mengelola, dan menskalakan model machine learning

• Beban kerja serverless, real-time, asinkron, dan batch

• Manajemen klaster otomatis dengan penskalaan otomatis

• Dukungan untuk instance spot dengan pencadangan sesuai permintaan

• Integrasi CI/CD dan observabilitas

• Penyediaan melalui konfigurasi deklaratif atau penyedia Terraform

• Kemampuan streaming metrik dan log

• Dibangun di atas AWS EKS untuk penskalaan yang andal

• Integrasi VPC untuk privasi data

• Integrasi IAM untuk otentikasi dan otorisasi

Memulai dengan Cortex

1. 1

   Instal Cortex CLI

2. 2

   Konfigurasi lingkungan AWS Anda

3. 3

   Definisikan konfigurasi penerapan model ML Anda

4. 4

   Terapkan model Anda ke klaster Cortex

5. 5

   Pantau kinerja dan log model

6. 6

   Skalakan klaster Anda sesuai kebutuhan

Kasus Penggunaan Cortex

• Inferensi ML Real-time
• Pemrosesan ML Asinkron
• Eksekusi Pekerjaan ML Batch
• Manajemen Model ML dalam Skala Besar
• Penerapan ML yang Dioptimalkan Biayanya
• Integrasi Pipeline MLOps

FAQ dari Cortex

• Untuk apa Cortex digunakan?

  Cortex digunakan untuk menerapkan, mengelola, dan menskalakan model machine learning di lingkungan produksi, menyediakan infrastruktur untuk berbagai jenis beban kerja.

• Jenis beban kerja apa yang didukung Cortex?

  Cortex mendukung beban kerja pemrosesan real-time serverless, asinkron, dan batch.

• Bagaimana Cortex menangani penskalaan?

  Cortex menawarkan manajemen klaster otomatis dengan penskalaan otomatis untuk instance CPU dan GPU, dan dapat diskalakan berdasarkan volume permintaan atau panjang antrean.

• Untuk platform cloud apa Cortex dibangun?

  Cortex dibangun untuk AWS, khususnya berjalan di atas AWS EKS (Elastic Kubernetes Service).

• Apakah Cortex menawarkan integrasi CI/CD?

  Ya, Cortex menyertakan integrasi CI/CD dan observabilitas untuk menyederhanakan alur kerja MLOps.

• Bagaimana Cortex mengelola privasi data?

  Cortex menerapkan klaster ke dalam VPC di akun AWS Anda untuk menjaga privasi data.

• Apa saja fitur observabilitas Cortex?

  Cortex memungkinkan pengiriman metrik ke alat pemantauan apa pun atau penggunaan dasbor Grafana yang sudah dibuat sebelumnya, dan melakukan streaming log ke alat manajemen log apa pun atau CloudWatch.

• Bisakah Cortex memanfaatkan opsi komputasi yang hemat biaya?

  Ya, Cortex mendukung menjalankan beban kerja pada instance spot dengan pencadangan otomatis sesuai permintaan.

• Apakah Cortex aktif dipelihara?

  Proyek ini dicatat tidak lagi aktif dipelihara oleh penulis aslinya.

• Bahasa pemrograman apa yang terkait dengan Cortex?

  Bahasa utama yang terkait dengan proyek Cortex adalah Go dan Python.