Deskripsi
ConvBERT adalah arsitektur model bahasa pre-training yang meningkatkan model BERT tradisional melalui integrasi konvolusi dinamis berbasis span. Pendekatan ini bertujuan untuk meningkatkan efisiensi dan kinerja model dalam memahami dan menghasilkan bahasa manusia. Implementasi resmi dan basis kode untuk ConvBERT tersedia secara publik di GitHub, dikelola oleh organisasi yitu-opensource.
Baca Selengkapnya
Repositori ini menawarkan sumber daya yang komprehensif bagi para peneliti dan pengembang yang tertarik untuk memanfaatkan atau berkontribusi pada ConvBERT. Ini mencakup instruksi terperinci untuk pre-training model ConvBERT dari awal dan fine-tuning model yang sudah dilatih sebelumnya untuk tugas-tugas hilir tertentu, seperti yang ditemukan dalam benchmark GLUE. Kode dikembangkan dan diuji menggunakan TensorFlow versi 1.15 dan kompatibel dengan lingkungan Python 3.
Untuk pre-training, repositori menguraikan langkah-langkah untuk membangun model ConvBERT berukuran sedang-kecil (sekitar 17 juta parameter) menggunakan korpus OpenWebText. Proses ini melibatkan persiapan data menggunakan skrip yang disediakan seperti `build_data.sh` dan `build_openwebtext_pretraining_dataset.py`, diikuti dengan pelatihan model melalui `pretrain.sh`. Bagian fine-tuning memandu pengguna dalam mengadaptasi model ConvBERT yang sudah dilatih sebelumnya untuk tugas-tugas seperti GLUE, menyediakan skrip seperti `download_glue_data.py` dan `finetune.sh`. File konfigurasi seperti `configure_pretraining.py` dan `configure_finetuning.py` memungkinkan kustomisasi hyperparameter.
Proyek ini dibangun di atas basis kode ELECTRA dan menggabungkan implementasi konvolusi dinamis. Arsitektur ConvBERT dirinci dalam makalah NeurIPS 2020 berjudul "ConvBERT: Improving BERT with Span-based Dynamic Convolution." Repositori ini juga mencantumkan dependensi, termasuk TensorFlow, NumPy, dan scikit-learn, serta menyediakan tautan ke model yang sudah dilatih sebelumnya untuk kenyamanan. Inisiatif open-source ini mendorong kolaborasi dan kemajuan di bidang pemrosesan bahasa alami.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti ConvBERT
Arsitektur konvolusi dinamis berbasis span
Pre-training model bahasa
Fine-tuning untuk tugas hilir (misalnya, GLUE)
Kompatibilitas TensorFlow 1.15
Dukungan Python 3
Kode open-source tersedia di GitHub
Termasuk skrip untuk pembangunan data dan pelatihan model
Instruksi terperinci untuk pre-training dan fine-tuning
Model diuji pada GPU V100
Merujuk makalah NeurIPS 2020 untuk deskripsi terperinci
Basis kode berdasarkan ELECTRA
Menyediakan tautan ke model yang sudah dilatih sebelumnya
Memulai dengan ConvBERT
Akses kode: Clone repositori ConvBERT dari GitHub.
Siapkan lingkungan: Instal Python 3, TensorFlow 1.15, NumPy, dan scikit-learn.
Pre-train model: Unduh korpus OpenWebText, jalankan `build_data.sh` dan `pretrain.sh`.
Fine-tune model: Unduh data GLUE, jalankan `download_glue_data.py`, dan `finetune.sh`.
Konfigurasi hyperparameter: Ubah pengaturan di `configure_pretraining.py` atau `configure_finetuning.py`.
Integrasikan model: Gunakan skrip yang disediakan dan bobot yang sudah dilatih sebelumnya untuk tugas NLP Anda.
Kasus Penggunaan ConvBERT
- Pre-training Model Bahasa
- Klasifikasi Teks
- Pemahaman Bahasa Alami
- Pelabelan Urutan
- Tanya Jawab
- Generasi Teks
- Penelitian dan Pengembangan
