跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

LIDstral Arabic

LIDstral Arabic 是一种用于阿拉伯文书写的语言和方言分类器。它能够识别现代标准阿拉伯语、各种阿拉伯方言以及使用相同书写系统的非阿拉伯语言,从而增强语言的区分度。

查看模型
分享
查看模型
分享

LIDstral Arabic 是一种复杂的语言和方言分类器,专为用阿拉伯文书写的文本而设计。它能够识别现代标准阿拉伯语、广泛的阿拉伯方言以及使用相同书写系统的非阿拉伯语言。这一能力对于区分共享书写系统的语言至关重要,能够防止仅基于书写外观的错误分类。

阅读更多

该模型采用了 fastText 一对多 (OVA) 分类器、MLP 堆叠器和每类等距校准的组合。fastText OVA 分类器为每个类别生成独立的分数,保持对竞争语言和方言的证据。MLP 堆叠器是一个 64 单元的 LayerNorm MLP,将这些分数映射到各类别的概率,利用从原始分数、先前修正、置信度边际、熵和区域摘要中提取的 144 个特征。

每类等距回归器在开发预测上进行拟合,以校准 MLP 概率,然后在各类别之间重新归一化。该校准过程可以改变置信度和预测标签。完整的管道需要三个文件:lid_ova_full.bin、mlp_stacker_ln.pt 和 isotonic_calibration.pkl。classify.py 脚本在 CPU 上运行该管道,包括预处理和特征提取,为每个输入提供预测标签和所有 51 个类别的校准概率。

LIDstral Arabic 在来自各种基准的 84,870 个阿拉伯示例上进行了评估,在摩洛哥达里贾语上达到了 88.67% 的 F1 分数,显著优于其他模型,如 LahjatBERT ALDi CL 和 GlotLID v3。然而,该模型始终分配其 51 个支持类别之一,这可能导致对不支持语言或混合语言文本的错误分类。

该模型根据 Apache 2.0 许可证进行许可,用户必须确保其使用不侵犯第三方权利。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 语言和方言分类

  • 现代标准阿拉伯语识别

  • 阿拉伯方言识别

  • 非阿拉伯语言区分

  • fastText OVA 分类器

  • 带 LayerNorm 的 MLP 堆叠器

  • 每类等距校准

  • 51 个支持类别

  1. 访问模型:下载代码库

  2. 身份验证:设置环境

  3. 设置环境:安装依赖项

  4. 通过 API 集成:使用 classify.py 脚本

  5. 优化:校准概率

  • 阿拉伯文本分类
  • 方言识别
  • 非阿拉伯语言检测
  • 多语言文本分析
  • 语言区分

Mistral AI 旗下产品

LIDstral Arabic 评价

加载中...

与 LIDstral Arabic 类似的热门AI工具

Llama-3.1-8B-Instruct 是由 Meta 开发的多语言大型语言模型,针对基于指令的任务进行了优化。它旨在商业和研究应用中提供自然语言理解和生成的高级能力。

AI 模型与大语言模型
查看工具

由 Meta 开发的多语言大型语言模型,针对基于指令的任务进行了优化。它旨在商业和研究应用中提供自然语言理解和生成的高级能力。Llama-3.1-8B-Instruct 是由 Meta 开发的多语言大型语言模型,针对基于指令的任务进行了优化。它旨在商业和研究应用中提供自然语言理解和生成的高级能力。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

XLM-RoBERTa 是一个多语言模型,预训练于 2.5TB 的 100 种语言数据上。它在序列分类和标记分类等任务中表现出色,是各种自然语言处理应用的宝贵工具。

AI 模型与大语言模型
查看工具

多语言模型,预训练于 2.5TB 的 100 种语言数据上。它在序列分类和标记分类等任务中表现出色,是各种自然语言处理应用的宝贵工具。XLM-RoBERTa 是一个多语言模型,预训练于 2.5TB 的 100 种语言数据上。它在序列分类和标记分类等任务中表现出色,是各种自然语言处理应用的宝贵工具。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

Llama-4 Maverick 17B-128E Instruct 是由 Meta 开发的多模态 AI 模型,旨在实现先进的文本和图像理解。它利用专家混合架构在各种应用中提供高性能。

AI 模型与大语言模型
查看工具

由 Meta 开发的多模态 AI 模型,旨在实现先进的文本和图像理解。它利用专家混合架构在各种应用中提供高性能。Llama-4 Maverick 17B-128E Instruct 是由 Meta 开发的多模态 AI 模型,旨在实现先进的文本和图像理解。它利用专家混合架构在各种应用中提供高性能。

AI 模型与大语言模型
查看 AI 模型 Top 5

Mistral-7B-v0.1 是一个具有 70 亿参数的预训练生成文本模型,旨在通过开源推动人工智能的发展。它在各种基准测试中超越了 Llama 2 13B,使其成为自然语言处理任务的强大工具。

AI 模型与大语言模型
查看工具

具有 70 亿参数的预训练生成文本模型,旨在通过开源推动人工智能的发展。它在各种基准测试中超越了 Llama 2 13B,使其成为自然语言处理任务的强大工具。Mistral-7B-v0.1 是一个具有 70 亿参数的预训练生成文本模型,旨在通过开源推动人工智能的发展。它在各种基准测试中超越了 Llama 2 13B,使其成为自然语言处理任务的强大工具。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

BAAI/bge-reranker-v2-m3 是一个轻量级的多语言重排序模型,旨在快速推理和便捷部署。它为查询和文档输出相似度评分,支持中文和英文。

AI 模型与大语言模型
查看工具

轻量级的多语言重排序模型,旨在快速推理和便捷部署。它为查询和文档输出相似度评分,支持中文和英文。BAAI/bge-reranker-v2-m3 是一个轻量级的多语言重排序模型,旨在快速推理和便捷部署。它为查询和文档输出相似度评分,支持中文和英文。

AI 模型与大语言模型
查看 AI 模型 Top 5

PaddleOCR-VL-1.6 是一个先进的文档解析模型,增强了区域优化和后训练过程。它在 OmniDocBench 上实现了最先进的准确性,支持文本、公式和表格识别。

AI 模型与大语言模型
查看工具

先进的文档解析模型,增强了区域优化和后训练过程。它在 OmniDocBench 上实现了最先进的准确性,支持文本、公式和表格识别。PaddleOCR-VL-1.6 是一个先进的文档解析模型,增强了区域优化和后训练过程。它在 OmniDocBench 上实现了最先进的准确性,支持文本、公式和表格识别。

AI 模型与大语言模型
查看 AI 模型 Top 5

OpenELM 是来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。

AI 模型与大语言模型
查看工具

来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。OpenELM 是来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。

AI 模型与大语言模型
查看 AI 模型 Top 5

Instructor 是一个多语言库,旨在从大型语言模型 (LLM) 中提取结构化、经过验证的数据。它支持超过 15 个提供者,并提供类型安全、自动重试和流式处理等功能,非常适合寻求可靠输出的开发者。

机器学习平台
查看工具

多语言库,旨在从大型语言模型 (LLM) 中提取结构化、经过验证的数据。它支持超过 15 个提供者,并提供类型安全、自动重试和流式处理等功能,非常适合寻求可靠输出的开发者。Instructor 是一个多语言库,旨在从大型语言模型 (LLM) 中提取结构化、经过验证的数据。它支持超过 15 个提供者,并提供类型安全、自动重试和流式处理等功能,非常适合寻求可靠输出的开发者。

精选机器学习平台
查看 AI 框架 Top 50
1/8