Deskripsi
SpanBERT adalah model AI canggih yang dikembangkan oleh Facebook Research, yang dirancang untuk meningkatkan teknik pra-pelatihan dengan berfokus pada representasi dan prediksi rentang teks. Repositori ini menyediakan kode dan model yang diperlukan bagi peneliti dan pengembang untuk memanfaatkan dan mengevaluasi kemampuan SpanBERT.
Baca Selengkapnya
Proyek ini menawarkan model yang telah dilatih sebelumnya dalam versi dasar dan besar (cased). Model-model ini memiliki konfigurasi yang sama dengan BERT tetapi menggabungkan skema masking dan tujuan pelatihan yang berbeda, seperti yang dirinci dalam makalah terkait. Model SpanBERT (dasar & cased) memiliki arsitektur 12 lapis dengan 768 unit tersembunyi dan 12 kepala, dengan total 110 juta parameter. Model SpanBERT (besar & cased) yang lebih besar memiliki arsitektur 24 lapis, 1024 unit tersembunyi, 16 kepala, dan 340 juta parameter. Model-model ini dirancang untuk integrasi yang mulus, mengadopsi format model HuggingFace BERT, memungkinkan penggantian yang mudah.
Repositori ini mencakup kode komprehensif untuk fine-tuning SpanBERT pada berbagai tugas Pemrosesan Bahasa Alami (NLP). Skrip khusus disediakan untuk fine-tuning pada dataset tanya jawab SQuAD 1.1 dan SQuAD 2.0, TACRED untuk ekstraksi relasi, dan benchmark MRQA yang mencakup dataset seperti NewsQA, TriviaQA, SearchQA, HotpotQA, dan NaturalQuestions. Selain itu, kode untuk fine-tuning pada tugas GLUE, seperti RTE, juga tersedia. Untuk tugas resolusi ko-referensi, implementasi TensorFlow terpisah ditautkan.
Benchmark kinerja disajikan, menunjukkan hasil superior SpanBERT dibandingkan dengan BERT pada dataset SQuAD 1.1, SQuAD 2.0, Coref, dan TACRED. Misalnya, SpanBERT (besar) mencapai skor F1 sebesar 94,6 pada SQuAD 1.1 dan 88,7 pada SQuAD 2.0, mengungguli BERT (besar). Proyek ini juga memfasilitasi pengunduhan model yang telah di-fine-tune untuk tugas hilir, menyederhanakan proses adopsi bagi pengguna.
SpanBERT dirilis di bawah lisensi CC-BY-NC 4.0, yang berlaku untuk kode dan model yang telah dilatih sebelumnya. Hal ini membuatnya dapat diakses untuk penelitian dan pengembangan non-komersial. Repositori ini mendorong kontribusi dan menyediakan informasi kontak untuk pertanyaan dan dukungan.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti SpanBERT
Model SpanBERT yang telah dilatih sebelumnya (dasar dan besar, cased)
Kode untuk menggunakan dan mengevaluasi SpanBERT
Skrip fine-tuning untuk SQuAD 1.1 dan SQuAD 2.0
Skrip fine-tuning untuk ekstraksi relasi TACRED
Skrip fine-tuning untuk dataset MRQA (NewsQA, TriviaQA, dll.)
Skrip fine-tuning untuk tugas GLUE (RTE)
Kompatibilitas dengan format model HuggingFace BERT
Kode fine-tuning resolusi ko-referensi tersedia
Benchmark kinerja terhadap BERT
Model yang telah di-fine-tune dapat diunduh untuk tugas hilir
Implementasi makalah SpanBERT: Meningkatkan Pra-pelatihan dengan Merepresentasikan dan Memprediksi Rentang
Memulai dengan SpanBERT
Akses kode: Kloning repositori GitHub SpanBERT.
Siapkan lingkungan: Instal dependensi yang diperlukan, termasuk Apex (komit tertentu direkomendasikan).
Muat model yang telah dilatih sebelumnya: Gunakan skrip yang disediakan untuk memuat model SpanBERT dasar atau besar (cased).
Fine-tune model: Jalankan skrip Python yang disediakan untuk tugas seperti SQuAD, TACRED, MRQA, atau GLUE.
Integrasikan melalui API: Adaptasi penggunaan model untuk aplikasi kustom, manfaatkan kompatibilitas HuggingFace.
Evaluasi kinerja: Jalankan skrip evaluasi untuk menilai kinerja model pada tugas NLP tertentu.
Unduh model yang telah di-fine-tune: Gunakan skrip yang disediakan untuk mendapatkan model yang telah dilatih sebelumnya untuk tugas hilir.
Kasus Penggunaan SpanBERT
- Tanya Jawab
- Ekstraksi Relasi
- Resolusi Ko-referensi
- Pemahaman Bahasa Alami
- Prediksi Rentang Teks
- Penelitian dan Pengembangan
- Evaluasi Benchmark
