Deskripsi
Dask-ML menyediakan kapabilitas machine learning yang dapat diskalakan dalam ekosistem Python, dirancang untuk bekerja secara mulus dengan pustaka populer seperti Scikit-Learn, XGBoost, dan lainnya. Ini memberdayakan pengguna untuk mengatasi tugas machine learning yang melibatkan kumpulan data besar atau model kompleks yang mungkin sebaliknya membebani alat standar.
Baca Selengkapnya
Kerangka kerja ini mengatasi dua dimensi utama tantangan penskalaan. Yang pertama adalah penskalaan ukuran model, di mana langkah-langkah pelatihan, prediksi, atau evaluasi menjadi intensif secara komputasi karena kompleksitas atau ukuran model. Dask-ML membantu dengan memungkinkan pengguna untuk terus menggunakan koleksi yang familiar seperti NumPy ndarrays, pandas DataFrames, atau XGBoost DMatrix, dan kemudian memparalelkan beban kerja ini di seluruh Dask Cluster. Paralelisasi ini dapat dicapai melalui backend joblib Dask untuk Scikit-Learn atau pengoptimal hyper-parameter Dask-ML sendiri.
Tantangan penskalaan kedua melibatkan kumpulan data yang terlalu besar untuk muat di RAM. Dalam skenario seperti itu, bahkan memuat data ke NumPy atau pandas menjadi tidak mungkin. Dask-ML mengatasi ini dengan memungkinkan penggunaan koleksi tingkat tinggi Dask, seperti Dask Array, Dask DataFrame, atau Dask Bag, bersama dengan estimator khusus Dask-ML. Misalnya, pengguna dapat menggunakan Dask Array dengan estimator pra-pemrosesan dari `dask_ml.preprocessing` atau metode ensemble dari `dask_ml.ensemble`.
Dask-ML berusaha untuk mempertahankan antarmuka terpadu yang familiar bagi pengguna NumPy, Pandas, dan Scikit-Learn. Filosofi desain ini memastikan bahwa individu yang sudah nyaman dengan API Scikit-Learn dapat beralih ke Dask-ML dengan kurva belajar minimal. Selain itu, Dask-ML terintegrasi dengan pustaka terdistribusi lainnya, seperti XGBoost, dengan memfasilitasi persiapan data dengan alur kerja Dask sebelum menyerahkan data untuk pelatihan terdistribusi dengan pustaka mitra.
Penting untuk dicatat bahwa tidak semua tugas machine learning memerlukan solusi yang dapat diskalakan. Dask-ML paling cocok untuk skenario di mana sumber daya komputasi atau volume data menimbulkan hambatan yang signifikan. Untuk banyak tugas umum, metode tradisional atau teknik pengambilan sampel mungkin sudah cukup. Dask-ML adalah proyek open-source, dan dokumentasinya tersedia.
- KategoriMachine Learning & Ilmu Data
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Fitur Inti Dask-ML
Machine learning yang dapat diskalakan untuk Python
Terintegrasi dengan Scikit-Learn, XGBoost, dan pustaka lainnya
Mengatasi tantangan ukuran model besar
Menangani kumpulan data yang melebihi RAM yang tersedia
Memparalelkan beban kerja di seluruh Dask Cluster
Mendukung API yang familiar seperti NumPy, Pandas, dan Scikit-Learn
Menyediakan pengoptimal hyper-parameter untuk penyetelan terdistribusi
Menawarkan estimator pra-pemrosesan untuk koleksi Dask
Memungkinkan metode ensemble terdistribusi
Memfasilitasi integrasi dengan pustaka ML terdistribusi lainnya
Antarmuka terpadu untuk tugas ilmu data terdistribusi
Memulai dengan Dask-ML
Instalasi: Instal Dask-ML menggunakan manajer paket seperti pip atau conda.
Konfigurasi: Siapkan Dask Cluster untuk mengelola sumber daya terdistribusi.
Persiapan Data: Gunakan koleksi Dask (Array, DataFrame, Bag) untuk penanganan data di luar memori.
Pelatihan Model: Gunakan estimator Dask-ML atau Scikit-Learn dengan backend joblib Dask untuk pelatihan paralel.
Prediksi: Hasilkan prediksi pada kumpulan data besar menggunakan kapabilitas prediksi terdistribusi Dask-ML.
Evaluasi: Nilai kinerja model pada kumpulan data terdistribusi.
Optimasi: Manfaatkan pengoptimal hyper-parameter Dask-ML untuk penyetelan model yang efisien.
Kasus Penggunaan Dask-ML
- Pelatihan model skala besar
- Penyetelan hyper-parameter terdistribusi
- Pra-pemrosesan data di luar memori
- Pembuatan prediksi paralel
- Metode ensemble pada data besar
- Scikit-Learn pada data terdistribusi
- XGBoost dengan Dask
