描述
K2-Horizon-MoVA-36B-A4B 是一个复杂的专家混合模型,结合了 Mixture-of-Values 注意力机制,旨在高效处理复杂任务。它是 K2-Horizon 系列的一部分,以其稀疏架构而著称,允许它存储 360 亿个参数,同时每个令牌运行 40 亿个参数。该模型已开放访问其检查点、数据和训练代码,支持通过开源和开放科学倡议实现人工智能的民主化。
阅读更多
该模型实现了前沿级别的结果,特别是在代理和推理基准测试中表现出色。它超越了大约 300 亿参数的开放权重密集模型和高达其大小 15 倍的 MoE 模型,同时在与封闭前沿模型的竞争中也表现良好。K2-Horizon-MoVA-36B-A4B 具有 524,288 个令牌的原生上下文窗口,支持从中期训练阶段开始的广泛上下文处理。
中间检查点可用,允许研究人员研究不同训练阶段的能力变化。该模型的训练数据和配方,以及训练代码,都是完全开放的,促进了人工智能研究的透明度和合作。
K2-Horizon-MoVA-36B-A4B 已通过 Transformers 5.15.0、PyTorch 2.13.0 和 Safetensors 0.8.0 进行验证。它支持多种工具调用格式,包括 JSON、XML 和 XML 类型,默认使用 XML。该模型旨在高推理努力设置下使用,确保在各种应用中的最佳性能。
该模型适用于多种应用,包括代理工具使用、终端使用、科学编码和研究生级科学问答。它在长上下文推理和保持事实准确性方面特别有效,使其成为人工智能社区研究人员和开发人员的宝贵工具。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
K2-Horizon-MoVA-36B-A4B亮点
专家混合架构
Mixture-of-Values 注意力机制
360 亿个参数
40 亿个活跃参数
开源检查点和数据
512K 上下文窗口
可用中间检查点
通过 Transformers 和 PyTorch 验证
K2-Horizon-MoVA-36B-A4B入门
访问模型页面:访问 Hugging Face
身份验证:登录到您的账户
配置:将 reasoning_effort 设置为高
发送提示:使用推荐设置的 API
微调:利用可用的检查点
K2-Horizon-MoVA-36B-A4B的使用案例
- 代理工具使用
- 终端使用
- 科学编码
- 研究生级问答
- 长上下文推理









