Deskripsi
LIDstral Arabic adalah pengklasifikasi bahasa dan dialek yang canggih yang dirancang untuk teks yang ditulis dalam skrip Arab. Ini mampu mengidentifikasi Bahasa Arab Standar Modern, berbagai dialek Arab, dan bahasa non-Arab yang memanfaatkan skrip yang sama. Kemampuan ini sangat penting untuk membedakan bahasa yang berbagi skrip, mencegah kesalahan klasifikasi yang hanya berdasarkan penampilan skrip.
Baca Selengkapnya
Model ini menggunakan kombinasi pengklasifikasi fastText one-vs-all (OVA), penumpuk MLP, dan kalibrasi isotonic per-kelas. Pengklasifikasi fastText OVA menghasilkan skor independen untuk setiap kelas, mempertahankan bukti untuk bahasa dan dialek yang bersaing. Penumpuk MLP, yang merupakan MLP LayerNorm dengan 64 unit, memetakan skor ini ke probabilitas di seluruh kelas, menggunakan 144 fitur yang diambil dari skor mentah, koreksi sebelumnya, margin kepercayaan, entropi, dan ringkasan regional.
Regressor isotonic per-kelas dipasang pada prediksi pengembangan untuk mengkalibrasi probabilitas MLP, yang kemudian dinormalisasi kembali di seluruh kelas. Proses kalibrasi ini dapat mengubah baik kepercayaan maupun label yang diprediksi. Rangkaian lengkap memerlukan tiga file: lid_ova_full.bin, mlp_stacker_ln.pt, dan isotonic_calibration.pkl. Skrip classify.py menjalankan rangkaian di CPU, termasuk pra-pemrosesan dan ekstraksi fitur, memberikan label yang diprediksi dan probabilitas yang dikalibrasi di seluruh 51 kelas untuk setiap input.
LIDstral Arabic telah dievaluasi pada 84.870 contoh Arab dari berbagai tolok ukur, mencapai skor F1 88,67% pada Darija Maroko, secara signifikan mengungguli model lain seperti LahjatBERT ALDi CL dan GlotLID v3. Namun, model ini selalu menetapkan salah satu dari 51 kelas yang didukung, yang dapat menyebabkan kesalahan klasifikasi bahasa yang tidak didukung atau teks campuran.
Model ini dilisensikan di bawah Lisensi Apache 2.0, dan pengguna harus memastikan bahwa penggunaan mereka tidak melanggar hak pihak ketiga.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan LIDstral Arabic
Klasifikasi bahasa dan dialek
Identifikasi Bahasa Arab Standar Modern
Identifikasi dialek Arab
Perbedaan bahasa non-Arab
Pengklasifikasi fastText OVA
Penumpuk MLP dengan LayerNorm
Kalibrasi isotonic per-kelas
51 kelas yang didukung
Memulai dengan LIDstral Arabic
Akses model: Unduh repositori
Autentikasi: Siapkan lingkungan
Siapkan lingkungan: Instal ketergantungan
Integrasi melalui API: Gunakan skrip classify.py
Optimalkan: Kalibrasi probabilitas
Kasus Penggunaan LIDstral Arabic
- Klasifikasi Teks Arab
- Identifikasi Dialek
- Deteksi Bahasa Non-Arab
- Analisis Teks Multibahasa
- Perbedaan Bahasa
