Описание
LIDstral Arabic — это сложный классификатор языков и диалектов, разработанный для текста, написанного арабским шрифтом. Он способен определять современный стандартный арабский язык, широкий спектр арабских диалектов и неарабские языки, которые используют тот же шрифт. Эта способность имеет решающее значение для различения языков, которые разделяют шрифт, предотвращая неправильную классификацию, основанную исключительно на внешнем виде шрифта.
Читать далее
Модель использует комбинацию классификатора fastText one-vs-all (OVA), стекера MLP и изотонической калибровки по классам. Классификатор fastText OVA генерирует независимые оценки для каждого класса, сохраняя доказательства для конкурирующих языков и диалектов. Стекер MLP, состоящий из 64-единичного MLP с нормализацией по слоям, отображает эти оценки в вероятности по классам, используя 144 признака, полученных из сырых оценок, предварительных коррекций, доверительных интервалов, энтропии и региональных сводок.
Изотонические регрессоры по классам подгоняются на основе предсказаний разработки для калибровки вероятностей MLP, которые затем нормализуются по классам. Этот процесс калибровки может изменить как уверенность, так и предсказанную метку. Полный конвейер требует три файла: lid_ova_full.bin, mlp_stacker_ln.pt и isotonic_calibration.pkl. Скрипт classify.py запускает конвейер на CPU, включая предварительную обработку и извлечение признаков, предоставляя предсказанную метку и откалиброванные вероятности для всех 51 класса для каждого ввода.
LIDstral Arabic был оценен на 84,870 арабских примерах из различных эталонов, достигнув 88.67% F1-оценки на марокканском даридже, значительно превосходя другие модели, такие как LahjatBERT ALDi CL и GlotLID v3. Однако модель всегда назначает один из своих 51 поддерживаемых классов, что может привести к неправильной классификации неподдерживаемых языков или текста на нескольких языках.
Модель лицензирована под лицензией Apache 2.0, и пользователи должны убедиться, что их использование не нарушает права третьих лиц.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о LIDstral Arabic
Классификация языков и диалектов
Определение современного стандартного арабского языка
Определение арабских диалектов
Различение неарабских языков
Классификатор fastText OVA
Стекер MLP с нормализацией по слоям
Изотоническая калибровка по классам
51 поддерживаемый класс
Начало работы с LIDstral Arabic
Получите модель: загрузите репозиторий
Аутентификация: настройте окружение
Настройте окружение: установите зависимости
Интеграция через API: используйте скрипт classify.py
Оптимизация: откалибруйте вероятности
Варианты использования LIDstral Arabic
- Классификация арабского текста
- Определение диалекта
- Обнаружение неарабских языков
- Анализ многоязычного текста
- Различение языков
