Descrição
LIDstral Arabic é um classificador sofisticado de idiomas e dialetos projetado para textos escritos em árabe. Ele é capaz de identificar o árabe padrão moderno, uma ampla gama de dialetos árabes e idiomas não árabes que utilizam a mesma escrita. Essa capacidade é crucial para distinguir idiomas que compartilham uma escrita, evitando a má classificação baseada apenas na aparência da escrita.
Ler mais
O modelo emprega uma combinação de um classificador fastText one-vs-all (OVA), um empilhador MLP e calibração isotônica por classe. O classificador fastText OVA gera pontuações independentes para cada classe, mantendo evidências para idiomas e dialetos concorrentes. O empilhador MLP, um MLP com 64 unidades LayerNorm, mapeia essas pontuações para probabilidades entre classes, utilizando 144 características derivadas de pontuações brutas, correções anteriores, margens de confiança, entropia e resumos regionais.
Regressores isotônicos por classe são ajustados nas previsões de desenvolvimento para calibrar as probabilidades do MLP, que são então renormalizadas entre classes. Esse processo de calibração pode alterar tanto a confiança quanto o rótulo previsto. Todo o pipeline requer três arquivos: lid_ova_full.bin, mlp_stacker_ln.pt e isotonic_calibration.pkl. O script classify.py executa o pipeline na CPU, incluindo pré-processamento e extração de características, fornecendo um rótulo previsto e probabilidades calibradas sobre todas as 51 classes para cada entrada.
LIDstral Arabic foi avaliado em 84.870 exemplos árabes de vários benchmarks, alcançando uma pontuação F1 de 88,67% no Darija marroquino, superando significativamente outros modelos como LahjatBERT ALDi CL e GlotLID v3. No entanto, o modelo sempre atribui uma de suas 51 classes suportadas, o que pode levar à má classificação de idiomas não suportados ou textos em idiomas mistos.
O modelo é licenciado sob a Licença Apache 2.0, e os usuários devem garantir que seu uso não infrinja os direitos de terceiros.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de LIDstral Arabic
Classificação de idiomas e dialetos
Identificação do árabe padrão moderno
Identificação de dialetos árabes
Distinção de idiomas não árabes
Classificador fastText OVA
Empilhador MLP com LayerNorm
Calibração isotônica por classe
51 classes suportadas
Primeiros passos com LIDstral Arabic
Acessar o modelo: Baixar repositório
Autenticar: Configurar ambiente
Configurar ambiente: Instalar dependências
Integrar via API: Usar script classify.py
Otimizar: Calibrar probabilidades
Casos de uso de LIDstral Arabic
- Classificação de Texto em Árabe
- Identificação de Dialetos
- Detecção de Idiomas Não Árabes
- Análise de Texto Multilíngue
- Distinção de Idiomas
