描述
LIDstral Arabic 是一种复杂的语言和方言分类器,专为用阿拉伯文书写的文本而设计。它能够识别现代标准阿拉伯语、广泛的阿拉伯方言以及使用相同书写系统的非阿拉伯语言。这一能力对于区分共享书写系统的语言至关重要,能够防止仅基于书写外观的错误分类。
阅读更多
该模型采用了 fastText 一对多 (OVA) 分类器、MLP 堆叠器和每类等距校准的组合。fastText OVA 分类器为每个类别生成独立的分数,保持对竞争语言和方言的证据。MLP 堆叠器是一个 64 单元的 LayerNorm MLP,将这些分数映射到各类别的概率,利用从原始分数、先前修正、置信度边际、熵和区域摘要中提取的 144 个特征。
每类等距回归器在开发预测上进行拟合,以校准 MLP 概率,然后在各类别之间重新归一化。该校准过程可以改变置信度和预测标签。完整的管道需要三个文件:lid_ova_full.bin、mlp_stacker_ln.pt 和 isotonic_calibration.pkl。classify.py 脚本在 CPU 上运行该管道,包括预处理和特征提取,为每个输入提供预测标签和所有 51 个类别的校准概率。
LIDstral Arabic 在来自各种基准的 84,870 个阿拉伯示例上进行了评估,在摩洛哥达里贾语上达到了 88.67% 的 F1 分数,显著优于其他模型,如 LahjatBERT ALDi CL 和 GlotLID v3。然而,该模型始终分配其 51 个支持类别之一,这可能导致对不支持语言或混合语言文本的错误分类。
该模型根据 Apache 2.0 许可证进行许可,用户必须确保其使用不侵犯第三方权利。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
LIDstral Arabic亮点
语言和方言分类
现代标准阿拉伯语识别
阿拉伯方言识别
非阿拉伯语言区分
fastText OVA 分类器
带 LayerNorm 的 MLP 堆叠器
每类等距校准
51 个支持类别
LIDstral Arabic入门
访问模型:下载代码库
身份验证:设置环境
设置环境:安装依赖项
通过 API 集成:使用 classify.py 脚本
优化:校准概率
LIDstral Arabic的使用案例
- 阿拉伯文本分类
- 方言识别
- 非阿拉伯语言检测
- 多语言文本分析
- 语言区分








