Deskripsi
MPNet, yang dikembangkan oleh Microsoft, merupakan singkatan dari Masked and Permuted Pre-training for Language Understanding. Metode pra-pelatihan inovatif ini mengatasi keterbatasan yang ditemukan pada model yang ada seperti Masked Language Modeling (MLM) BERT dan Permuted Language Modeling (PLM) XLNet, serta mencapai akurasi yang unggul pada tolok ukur pemahaman bahasa.
Baca Selengkapnya
Proyek ini menyediakan pandangan dan implementasi terpadu dari beberapa model pra-pelatihan, termasuk BERT, XLNet, dan MPNet itu sendiri. Proyek ini mencakup kode komprehensif untuk pra-pelatihan model baru dan fine-tuning model yang sudah ada untuk berbagai tugas pemahaman bahasa. Tugas yang didukung mencakup tolok ukur populer seperti GLUE, SQuAD, dan RACE, menjadikannya alat yang serbaguna bagi peneliti dan pengembang NLP.
Instalasi mudah, memanfaatkan basis kode fairseq. Pengguna dapat menginstal komponen yang diperlukan melalui pip. Toolkit ini memerlukan PyTorch Transformers, SciPy, dan Scikit-learn. Proses pra-pelatihan melibatkan pra-pemrosesan data, termasuk tokenisasi dan binarisasi, diikuti dengan pra-pelatihan model MPNet yang sebenarnya menggunakan skrip dan konfigurasi yang disediakan.
MPNet menawarkan fleksibilitas dalam pendekatan pra-pelatihannya. Pengguna dapat menentukan mode input seperti MLM atau PLM untuk melatih model bahasa bertopeng atau model bahasa permutasi, masing-masing. Opsi lanjutan mencakup penggunaan embedding posisi relatif dan masking seluruh kata dengan menyesuaikan arsitektur model dan argumen baris perintah. Proyek ini juga menyediakan model MPNet pra-terlatih yang diperbarui untuk fine-tuning langsung pada tugas hilir.
Proyek ini dibangun di atas fairseq-0.8.0, mengakui kontribusinya. Bagi mereka yang merasa toolkit ini bermanfaat, detail kutipan untuk makalah MPNet disediakan. Karya terkait dan kerangka kerja pra-pelatihan alternatif juga tercantum, menawarkan konteks yang lebih luas dalam lanskap penelitian NLP. Repositori ini berfungsi sebagai sumber daya yang berharga untuk memajukan kemampuan pemahaman bahasa.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformLinux, macOS, Windows
Fitur Inti MPNet
Metode pra-pelatihan Masked and Permuted
Meningkatkan akurasi dibandingkan BERT dan XLNet
Implementasi terpadu model pra-pelatihan (BERT, XLNet, MPNet)
Kode untuk pra-pelatihan dan fine-tuning
Mendukung tolok ukur GLUE, SQuAD, RACE
Dibangun di atas basis kode fairseq
Menyediakan model pra-terlatih yang diperbarui
Mendukung mode input MLM dan PLM
Opsi untuk embedding posisi relatif
Opsi untuk masking seluruh kata
Memulai dengan MPNet
Instal dependensi: pip install fairseq pytorch_transformers==1.0.0 transformers scipy sklearn
Pra-proses data: Tokenisasi korpus menggunakan encode.py dan binarisasi menggunakan fairseq-preprocess
Pra-latih MPNet: Jalankan fairseq-train dengan parameter yang ditentukan untuk total pembaruan, learning rate, ukuran batch, dll.
Muat model pra-terlatih: Gunakan MPNet.from_pretrained dari fairseq.models.masked_permutation_net
Fine-tune pada tugas hilir: Adaptasi model pra-terlatih untuk aplikasi NLP spesifik seperti GLUE atau SQuAD
Kasus Penggunaan MPNet
- Pemahaman Bahasa
- Model Pra-pelatihan
- Fine-tuning Model NLP
- Kinerja Tolok Ukur
- Penelitian NLP
