본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

LIDstral Arabic

AI 모델AI 모델 및 LLM오픈소스 · 웹

LIDstral Arabic는 아랍어 스크립트를 위한 언어 및 방언 분류기입니다. 현대 표준 아랍어, 다양한 아랍 방언 및 동일한 스크립트를 사용하는 비아랍어 언어를 식별하여 언어 구분을 향상시킵니다.

모델 보기
공유
모델 보기
공유

LIDstral Arabic는 아랍어 스크립트로 작성된 텍스트를 위해 설계된 정교한 언어 및 방언 분류기입니다. 이 모델은 현대 표준 아랍어, 다양한 아랍 방언 및 동일한 스크립트를 사용하는 비아랍어 언어를 식별할 수 있습니다. 이러한 기능은 스크립트 외관만으로 언어를 잘못 분류하는 것을 방지하는 데 중요합니다.

더 읽기

이 모델은 fastText one-vs-all (OVA) 분류기, MLP 스태커 및 클래스별 등온 보정을 결합하여 사용합니다. fastText OVA 분류기는 각 클래스에 대한 독립적인 점수를 생성하여 경쟁하는 언어와 방언에 대한 증거를 유지합니다. MLP 스태커는 64단위 LayerNorm MLP로, 이러한 점수를 클래스 간 확률로 매핑하며, 원시 점수, 이전 수정, 신뢰도 여유, 엔트로피 및 지역 요약에서 파생된 144개의 특성을 활용합니다.

클래스별 등온 회귀기는 개발 예측에 맞춰져 MLP 확률을 보정하며, 이후 클래스 간 재정규화됩니다. 이 보정 과정은 신뢰도와 예측 레이블 모두를 변경할 수 있습니다. 전체 파이프라인은 lid_ova_full.bin, mlp_stacker_ln.pt 및 isotonic_calibration.pkl의 세 개 파일을 필요로 합니다. classify.py 스크립트는 CPU에서 파이프라인을 실행하며, 전처리 및 특성 추출을 포함하여 각 입력에 대해 51개 클래스에 대한 예측 레이블과 보정된 확률을 제공합니다.

LIDstral Arabic는 다양한 벤치마크에서 84,870개의 아랍어 예제를 평가하여 모로코 다리자에서 88.67%의 F1 점수를 달성하며, LahjatBERT ALDi CL 및 GlotLID v3와 같은 다른 모델을 크게 능가합니다. 그러나 이 모델은 항상 51개 지원 클래스 중 하나를 할당하므로 지원되지 않는 언어나 혼합 언어 텍스트의 잘못된 분류를 초래할 수 있습니다.

이 모델은 Apache 2.0 라이센스 하에 라이센스가 부여되며, 사용자는 자신의 사용이 제3자의 권리를 침해하지 않도록 해야 합니다.

  • 카테고리AI 모델 및 LLM
  • 요금제오픈소스
  • 배포클라우드
  • 플랫폼웹

  • 언어 및 방언 분류

  • 현대 표준 아랍어 식별

  • 아랍 방언 식별

  • 비아랍어 언어 구분

  • fastText OVA 분류기

  • LayerNorm이 있는 MLP 스태커

  • 클래스별 등온 보정

  • 51개 지원 클래스

  1. 모델 접근: 저장소 다운로드

  2. 인증: 환경 설정

  3. 환경 설정: 종속성 설치

  4. API를 통한 통합: classify.py 스크립트 사용

  5. 최적화: 확률 보정

  • 아랍어 텍스트 분류
  • 방언 식별
  • 비아랍어 언어 탐지
  • 다국어 텍스트 분석
  • 언어 구분

Mistral AI의 제품

LIDstral Arabic 리뷰

로딩 중...

LIDstral Arabic와(과) 비슷한 인기 AI 도구

Llama-3.1-8B-Instruct는 Meta에서 개발한 다국어 대형 언어 모델로, 지시 기반 작업에 최적화되어 있습니다. 상업적 및 연구 응용 프로그램을 위해 설계되었으며, 자연어 이해 및 생성에서 고급 기능을 제공합니다.

AI 모델 및 LLM
도구 보기

Meta에서 개발한 다국어 대형 언어 모델로, 지시 기반 작업에 최적화되어 있습니다. 상업적 및 연구 응용 프로그램을 위해 설계되었으며, 자연어 이해 및 생성에서 고급 기능을 제공합니다.Llama-3.1-8B-Instruct는 Meta에서 개발한 다국어 대형 언어 모델로, 지시 기반 작업에 최적화되어 있습니다. 상업적 및 연구 응용 프로그램을 위해 설계되었으며, 자연어 이해 및 생성에서 고급 기능을 제공합니다.

추천AI 모델 및 LLM
AI 모델 TOP 5 보기

XLM-RoBERTa는 100개 언어에 걸쳐 2.5TB의 데이터로 사전 훈련된 다국어 모델입니다. 시퀀스 분류 및 토큰 분류와 같은 작업에서 뛰어난 성능을 발휘하여 다양한 자연어 처리 애플리케이션에 유용한 도구입니다.

AI 모델 및 LLM
도구 보기

100개 언어에 걸쳐 2.5TB의 데이터로 사전 훈련된 다국어 모델입니다. 시퀀스 분류 및 토큰 분류와 같은 작업에서 뛰어난 성능을 발휘하여 다양한 자연어 처리 애플리케이션에 유용한 도구입니다.XLM-RoBERTa는 100개 언어에 걸쳐 2.5TB의 데이터로 사전 훈련된 다국어 모델입니다. 시퀀스 분류 및 토큰 분류와 같은 작업에서 뛰어난 성능을 발휘하여 다양한 자연어 처리 애플리케이션에 유용한 도구입니다.

추천AI 모델 및 LLM
AI 모델 TOP 5 보기

Llama-4 Maverick 17B-128E Instruct는 Meta에서 개발한 다중 모달 AI 모델로, 고급 텍스트 및 이미지 이해를 위해 설계되었습니다. 다양한 응용 프로그램에서 높은 성능을 제공하기 위해 전문가 혼합 아키텍처를 활용합니다.

AI 모델 및 LLM
도구 보기

Meta에서 개발한 다중 모달 AI 모델로, 고급 텍스트 및 이미지 이해를 위해 설계되었습니다. 다양한 응용 프로그램에서 높은 성능을 제공하기 위해 전문가 혼합 아키텍처를 활용합니다.Llama-4 Maverick 17B-128E Instruct는 Meta에서 개발한 다중 모달 AI 모델로, 고급 텍스트 및 이미지 이해를 위해 설계되었습니다. 다양한 응용 프로그램에서 높은 성능을 제공하기 위해 전문가 혼합 아키텍처를 활용합니다.

AI 모델 및 LLM
AI 모델 TOP 5 보기

Mistral-7B-v0.1은 70억 개의 매개변수를 가진 사전 훈련된 생성 텍스트 모델로, 오픈 소스를 통해 인공지능을 발전시키기 위해 설계되었습니다. 다양한 벤치마크에서 Llama 2 13B를 능가하여 자연어 처리 작업을 위한 강력한 도구입니다.

AI 모델 및 LLM
도구 보기

70억 개의 매개변수를 가진 사전 훈련된 생성 텍스트 모델로, 오픈 소스를 통해 인공지능을 발전시키기 위해 설계되었습니다. 다양한 벤치마크에서 Llama 2 13B를 능가하여 자연어 처리 작업을 위한 강력한 도구입니다.Mistral-7B-v0.1은 70억 개의 매개변수를 가진 사전 훈련된 생성 텍스트 모델로, 오픈 소스를 통해 인공지능을 발전시키기 위해 설계되었습니다. 다양한 벤치마크에서 Llama 2 13B를 능가하여 자연어 처리 작업을 위한 강력한 도구입니다.

추천AI 모델 및 LLM
AI 모델 TOP 5 보기

BAAI/bge-reranker-v2-m3는 빠른 추론과 쉬운 배포를 위해 설계된 경량 다국어 재정렬 모델입니다. 이 모델은 쿼리와 문서에 대한 유사성 점수를 출력하며, 중국어와 영어를 모두 지원합니다.

AI 모델 및 LLM
도구 보기

빠른 추론과 쉬운 배포를 위해 설계된 경량 다국어 재정렬 모델입니다. 이 모델은 쿼리와 문서에 대한 유사성 점수를 출력하며, 중국어와 영어를 모두 지원합니다.BAAI/bge-reranker-v2-m3는 빠른 추론과 쉬운 배포를 위해 설계된 경량 다국어 재정렬 모델입니다. 이 모델은 쿼리와 문서에 대한 유사성 점수를 출력하며, 중국어와 영어를 모두 지원합니다.

AI 모델 및 LLM
AI 모델 TOP 5 보기

PaddleOCR-VL-1.6은 지역 정제 및 후속 훈련 프로세스를 향상시키는 고급 문서 파싱 모델입니다. 텍스트, 수식 및 표 인식을 지원하며 OmniDocBench에서 최첨단 정확도를 달성합니다.

AI 모델 및 LLM
도구 보기

지역 정제 및 후속 훈련 프로세스를 향상시키는 고급 문서 파싱 모델입니다. 텍스트, 수식 및 표 인식을 지원하며 OmniDocBench에서 최첨단 정확도를 달성합니다.PaddleOCR-VL-1.6은 지역 정제 및 후속 훈련 프로세스를 향상시키는 고급 문서 파싱 모델입니다. 텍스트, 수식 및 표 인식을 지원하며 OmniDocBench에서 최첨단 정확도를 달성합니다.

AI 모델 및 LLM
AI 모델 TOP 5 보기

OpenELM은 Apple Machine Learning Research에서 개발한 최첨단 오픈 언어 모델 제품군입니다. 향상된 정확도를 위한 계층별 스케일링 전략을 특징으로 하며, 로그 및 체크포인트를 포함한 공개 데이터셋에 대한 학습 및 평가를 위한 완전한 프레임워크를 제공합니다. 또한 Apple 기기에서의 MLX…

AI 모델 및 LLM
도구 보기

Apple Machine Learning Research에서 개발한 최첨단 오픈 언어 모델 제품군입니다. 향상된 정확도를 위한 계층별 스케일링 전략을 특징으로 하며, 로그 및 체크포인트를 포함한 공개 데이터셋에 대한 학습 및 평가를 위한 완전한 프레임워크를 제공합니다. 또한 Apple 기기에서의 MLX…OpenELM은 Apple Machine Learning Research에서 개발한 최첨단 오픈 언어 모델 제품군입니다. 향상된 정확도를 위한 계층별 스케일링 전략을 특징으로 하며, 로그 및 체크포인트를 포함한 공개 데이터셋에 대한 학습 및 평가를 위한 완전한 프레임워크를 제공합니다. 또한 Apple 기기에서의 MLX…

AI 모델 및 LLM
AI 모델 TOP 5 보기

강사는 대형 언어 모델(LLM)에서 구조화되고 검증된 데이터를 추출하기 위해 설계된 다국어 라이브러리입니다. 15개 이상의 공급자를 지원하며, 타입 안전성, 자동 재시도 및 스트리밍과 같은 기능을 제공하여 신뢰할 수 있는 출력을 원하는 개발자에게 이상적입니다.

머신러닝 플랫폼
도구 보기

대형 언어 모델(LLM)에서 구조화되고 검증된 데이터를 추출하기 위해 설계된 다국어 라이브러리입니다. 15개 이상의 공급자를 지원하며, 타입 안전성, 자동 재시도 및 스트리밍과 같은 기능을 제공하여 신뢰할 수 있는 출력을 원하는 개발자에게 이상적입니다.강사는 대형 언어 모델(LLM)에서 구조화되고 검증된 데이터를 추출하기 위해 설계된 다국어 라이브러리입니다. 15개 이상의 공급자를 지원하며, 타입 안전성, 자동 재시도 및 스트리밍과 같은 기능을 제공하여 신뢰할 수 있는 출력을 원하는 개발자에게 이상적입니다.

추천머신러닝 플랫폼
AI 프레임워크 TOP 50 보기
1/8