描述
AliceAI-Foundation-80B-A3B-Base 是由 Yandex 开发的基础语言模型,托管在 Hugging Face 上。它采用混合架构,结合了专家混合(MoE)层,拥有总计 800 亿个参数,每个标记活跃 30 亿个参数。该模型支持最长 262,144 个标记的上下文长度,适合处理大量文本输入。
阅读更多
该模型从零开始训练,使用新组装的训练语料库,并精心选择架构和超参数。它在处理俄语的事实知识任务方面特别强大,在这一领域超越了更大的开源模型。该模型的性能通过 WikiWebFacts 和 HardMultiQA 等基准进行验证,这些基准专注于俄语上下文。
AliceAI-Foundation-80B-A3B-Base 是一个自回归语言模型,目前处于预训练阶段。它的隐藏状态大小为 2048,词汇表大小为 129,024,并由 48 层组成。该模型的架构包括 12 个 3 KDA 到 MoE 层的块,后面跟着 1 个门控注意力到 MoE 层。
该模型的能力通过各种基准得以展示,在数学、编程和推理任务中显示出竞争力的结果。它在俄语的事实知识任务中尤其有效,这在 WikiWebFacts 和 HardMultiQA 基准的表现中得到了证明。
AliceAI-Foundation-80B-A3B-Base 可通过 Transformers 库使用,参考版本为 5.16.1。它也可以使用 vLLM 部署,执行时需要 Docker 和 NVIDIA Container Toolkit。该模型开放以进行进一步的微调和特定任务的适应,支持在代码库中提供 LoRA 微调。
该模型主要用于研究、实验和进一步开发。它并不是针对最终用户产品和服务的现成解决方案。建议用户在将模型部署到生产环境之前进行自己的测试,并实施必要的微调和控制措施。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
AliceAI-Foundation-80B-A3B-Base亮点
800 亿个参数
每个标记 30 亿个活跃参数
具有 MoE 层的混合架构
支持最长 262,144 个标记的上下文长度
在俄语事实知识任务中表现出色
从零开始预训练
通过 Transformers 和 vLLM 可用
支持 LoRA 微调
AliceAI-Foundation-80B-A3B-Base入门
访问模型页面:访问 Hugging Face
身份验证:登录到您的帐户
配置:设置模型参数
发送提示:输入您的文本查询
微调:将模型适应于特定任务
AliceAI-Foundation-80B-A3B-Base的使用案例
- 事实知识检索
- 数学问题解决
- 编程辅助
- 语言理解
- 研究与开发










