Deskripsi
Repositori GitHub ini, `karpathy/pytorch-made`, menawarkan implementasi MADE (Masked Autoencoder Density Estimation) yang ringkas menggunakan PyTorch. Konsep inti di balik MADE adalah mengubah auto-encoder standar menjadi model kepadatan autoregresif. Ini dicapai dengan secara strategis menyamarkan koneksi dalam Multi-Layer Perceptron (MLP) dan dengan mengurutkan dimensi input. Yang terpenting, model memastikan bahwa setiap dimensi output hanya bergantung pada dimensi input yang muncul lebih awal dalam urutan yang ditentukan.
Baca Selengkapnya
Mirip dengan model autoregresif lainnya seperti char-rnn dan pixel cnns, MADE memfasilitasi evaluasi kemungkinan yang sangat efisien, hanya memerlukan satu kali lintasan maju melalui jaringan. Namun, proses pengambilan sampel titik data baru bersifat linier terhadap jumlah dimensi. Implementasi makalah asli, meskipun berfungsi, dicatat karena sifatnya yang bertele-tele dan ketergantungannya pada Theano. Versi PyTorch ini bertujuan untuk kesederhanaan dan kejelasan, dengan logika inti terkandung dalam sekitar 150 baris kode.
Repositori ini menyertakan contoh yang mendemonstrasikan cara menggunakan model MADE, terutama dengan dataset MNIST yang dibinerisasi. Pengguna dapat mereproduksi hasil dari makalah asli, seperti melatih MLP 1 lapis untuk mencapai kerugian cross-entropy biner sebesar 94,5. Contoh-contoh tersebut juga mengilustrasikan cara melatih ensemble model yang lebih besar, memanfaatkan pembagian bobot dalam satu MLP dan merata-ratakan prediksi pada waktu pengujian untuk kinerja yang lebih baik, mencapai kerugian pengujian sebesar 79,3 dengan 10 urutan.
Kelas utama, `MADE`, diimplementasikan dalam `made.py` dan mewarisi dari `nn.Module` PyTorch, membuatnya mudah untuk diintegrasikan ke dalam arsitektur jaringan saraf yang lebih besar. Proses instansiasi melibatkan penentuan dimensi input dan output, ukuran lapisan tersembunyi, dan jumlah masker yang akan digunakan. Parameter dimensi output bersifat fleksibel, memungkinkan berbagai distribusi output seperti prediksi softmax Gaussian atau binned. Kasus paling sederhana, seperti yang ditunjukkan dengan prediksi biner untuk MNIST, menggunakan satu parameter output per dimensi input.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti PyTorch MADE
Implementasi Masked Autoencoder Density Estimation (MADE)
Dibangun menggunakan PyTorch untuk kemudahan integrasi
Memungkinkan pemodelan kepadatan autoregresif
Evaluasi kemungkinan efisien melalui satu lintasan maju
Kompleksitas pengambilan sampel linier terhadap dimensi
Menyertakan contoh untuk dataset MNIST yang dibinerisasi
Mendukung pelatihan ensemble model
Lapisan output fleksibel untuk berbagai distribusi
Basis kode ringkas (~150 baris untuk logika inti)
Penyamaran koneksi MLP untuk autoregresi
Pengurutan dimensi input untuk dependensi kondisional
Memulai dengan PyTorch MADE
Akses model: Klon repositori GitHub.
Siapkan lingkungan: Instal PyTorch dan dependensi lainnya.
Integrasikan melalui API: Instansiasi kelas `MADE` dari `made.py`.
Konfigurasi model: Tentukan dimensi input/output, lapisan tersembunyi, dan jumlah masker.
Latih model: Gunakan skrip `run.py` dengan dataset dan parameter yang ditentukan.
Evaluasi kemungkinan: Lakukan satu lintasan maju.
Ambil sampel data: Jalankan proses pengambilan sampel secara linier dengan dimensi.
Kasus Penggunaan PyTorch MADE
- Estimasi Kepadatan
- Pemodelan Autoregresif
- Generasi Gambar
- Pemodelan Probabilistik
- Penelitian Machine Learning
- Kompresi Data
