설명
LIDstral Arabic는 아랍어 스크립트로 작성된 텍스트를 위해 설계된 정교한 언어 및 방언 분류기입니다. 이 모델은 현대 표준 아랍어, 다양한 아랍 방언 및 동일한 스크립트를 사용하는 비아랍어 언어를 식별할 수 있습니다. 이러한 기능은 스크립트 외관만으로 언어를 잘못 분류하는 것을 방지하는 데 중요합니다.
더 읽기
이 모델은 fastText one-vs-all (OVA) 분류기, MLP 스태커 및 클래스별 등온 보정을 결합하여 사용합니다. fastText OVA 분류기는 각 클래스에 대한 독립적인 점수를 생성하여 경쟁하는 언어와 방언에 대한 증거를 유지합니다. MLP 스태커는 64단위 LayerNorm MLP로, 이러한 점수를 클래스 간 확률로 매핑하며, 원시 점수, 이전 수정, 신뢰도 여유, 엔트로피 및 지역 요약에서 파생된 144개의 특성을 활용합니다.
클래스별 등온 회귀기는 개발 예측에 맞춰져 MLP 확률을 보정하며, 이후 클래스 간 재정규화됩니다. 이 보정 과정은 신뢰도와 예측 레이블 모두를 변경할 수 있습니다. 전체 파이프라인은 lid_ova_full.bin, mlp_stacker_ln.pt 및 isotonic_calibration.pkl의 세 개 파일을 필요로 합니다. classify.py 스크립트는 CPU에서 파이프라인을 실행하며, 전처리 및 특성 추출을 포함하여 각 입력에 대해 51개 클래스에 대한 예측 레이블과 보정된 확률을 제공합니다.
LIDstral Arabic는 다양한 벤치마크에서 84,870개의 아랍어 예제를 평가하여 모로코 다리자에서 88.67%의 F1 점수를 달성하며, LahjatBERT ALDi CL 및 GlotLID v3와 같은 다른 모델을 크게 능가합니다. 그러나 이 모델은 항상 51개 지원 클래스 중 하나를 할당하므로 지원되지 않는 언어나 혼합 언어 텍스트의 잘못된 분류를 초래할 수 있습니다.
이 모델은 Apache 2.0 라이센스 하에 라이센스가 부여되며, 사용자는 자신의 사용이 제3자의 권리를 침해하지 않도록 해야 합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
LIDstral Arabic 하이라이트
언어 및 방언 분류
현대 표준 아랍어 식별
아랍 방언 식별
비아랍어 언어 구분
fastText OVA 분류기
LayerNorm이 있는 MLP 스태커
클래스별 등온 보정
51개 지원 클래스
LIDstral Arabic 시작하기
모델 접근: 저장소 다운로드
인증: 환경 설정
환경 설정: 종속성 설치
API를 통한 통합: classify.py 스크립트 사용
최적화: 확률 보정
LIDstral Arabic의 사용 사례
- 아랍어 텍스트 분류
- 방언 식별
- 비아랍어 언어 탐지
- 다국어 텍스트 분석
- 언어 구분








