Deskripsi
Repositori GitHub ini, locuslab/convmixer, menampung implementasi ConvMixer, sebuah arsitektur jaringan saraf yang dirinci dalam makalah ICLR 2022 berjudul "Patches Are All You Need? 🤷" oleh Asher Trockman dan Zico Kolter. Kode utama untuk model ConvMixer terletak di `convmixer.py`. Proyek ini memanfaatkan kerangka kerja `pytorch-image-models` (timm) untuk pelatihan dan menyertakan modifikasi pada kerangka kerja ini untuk mendukung ConvMixer.
Baca Selengkapnya
Modifikasi utama dalam kerangka kerja `pytorch-image-models` meliputi penambahan `timm/models/convmixer.py`, pembaruan pada `timm/models/__init__.py`, dan integrasi jadwal laju pembelajaran "OneCycle" dengan file penjadwal yang sesuai. Meskipun jadwal OneCycle dicatat, penulis menyarankan bahwa jadwal kosinus standar juga bisa efektif untuk melatih ConvMixer.
Repositori ini menawarkan bobot model yang telah dilatih sebelumnya untuk beberapa varian ConvMixer, termasuk ConvMixer-1536/20, ConvMixer-768/32, dan ConvMixer-1024/20, dengan rincian ukuran kernel, ukuran patch, dan ukuran file. Instruksi dan contoh perintah disediakan untuk mengevaluasi model-model ini pada dataset seperti ImageNet-1k, dengan tujuan akurasi tinggi. Misalnya, ConvMixer-1536/20 diharapkan mencapai akurasi 81,37% pada validasi ImageNet-1k.
Pelatihan ConvMixer juga dirinci, dengan contoh perintah untuk pelatihan terdistribusi pada pengaturan multi-GPU menggunakan ImageNet-1k. Perintah pelatihan menentukan hyperparameter seperti ukuran batch, jumlah worker, optimizer, epoch, jadwal laju pembelajaran, teknik augmentasi (misalnya, RandAugment, CutMix, MixUp), dan ukuran input. Repositori ini juga menyertakan versi arsitektur ConvMixer yang disederhanakan dan dapat di-tweet dalam Python.
Selain itu, repositori terpisah untuk melatih ConvMixer pada CIFAR-10 ditautkan, dan saran diberikan tentang penyesuaian parameter pelatihan seperti `--scale` untuk ukuran input yang lebih kecil. Proyek ini bersifat open-source di bawah lisensi MIT, mendorong kontribusi komunitas dan pengembangan lebih lanjut.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti ConvMixer
Implementasi arsitektur jaringan saraf ConvMixer
Berdasarkan makalah penelitian "Patches Are All You Need? 🤷"
Termasuk kode untuk melatih ConvMixer
Menyediakan bobot model yang telah dilatih sebelumnya untuk evaluasi
Mendukung pelatihan pada dataset ImageNet-1k dan CIFAR-10
Memanfaatkan kerangka kerja `pytorch-image-models` (timm)
Termasuk implementasi penjadwal laju pembelajaran "OneCycle"
Menawarkan contoh perintah untuk evaluasi model
Termasuk contoh perintah untuk pelatihan terdistribusi
Berisi versi model ConvMixer yang disederhanakan dan dapat di-tweet
Bobot model tersedia untuk diunduh
Open-source di bawah lisensi MIT
Memulai dengan ConvMixer
Akses Model: Kloning repositori GitHub ke mesin lokal Anda.
Siapkan Lingkungan: Instal pustaka Python yang diperlukan, termasuk PyTorch dan `pytorch-image-models`.
Muat Model: Buat instance model ConvMixer menggunakan skrip Python yang disediakan.
Evaluasi Model: Gunakan skrip `validate.py` dengan bobot yang diunduh dan dataset validasi.
Latih Model: Jalankan skrip `distributed_train.sh` dengan jalur dataset dan parameter pelatihan yang ditentukan.
Integrasikan: Adaptasi kode `convmixer.py` untuk loop pelatihan kustom atau pipeline inferensi.
Kasus Penggunaan ConvMixer
- Klasifikasi Gambar
- Evaluasi Model
- Pelatihan Model Kustom
- Penelitian dan Pengembangan
- Transfer Learning
- Benchmarking
