跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

K2-Horizon-MoVA-36B-A4B

K2-Horizon-MoVA-36B-A4B 是一个具有 Mixture-of-Values 注意力机制的专家混合模型,存储了 360 亿个参数。它提供了前沿级别的结果,具有 40 亿个活跃参数,在代理和推理基准测试中超越了更大的模型。

访问URL
分享
K2-Horizon-MoVA-36B-A4B 截图
K2-Horizon-MoVA-36B-A4B 截图

K2-Horizon-MoVA-36B-A4B 是一个复杂的专家混合模型,结合了 Mixture-of-Values 注意力机制,旨在高效处理复杂任务。它是 K2-Horizon 系列的一部分,以其稀疏架构而著称,允许它存储 360 亿个参数,同时每个令牌运行 40 亿个参数。该模型已开放访问其检查点、数据和训练代码,支持通过开源和开放科学倡议实现人工智能的民主化。

阅读更多

该模型实现了前沿级别的结果,特别是在代理和推理基准测试中表现出色。它超越了大约 300 亿参数的开放权重密集模型和高达其大小 15 倍的 MoE 模型,同时在与封闭前沿模型的竞争中也表现良好。K2-Horizon-MoVA-36B-A4B 具有 524,288 个令牌的原生上下文窗口,支持从中期训练阶段开始的广泛上下文处理。

中间检查点可用,允许研究人员研究不同训练阶段的能力变化。该模型的训练数据和配方,以及训练代码,都是完全开放的,促进了人工智能研究的透明度和合作。

K2-Horizon-MoVA-36B-A4B 已通过 Transformers 5.15.0、PyTorch 2.13.0 和 Safetensors 0.8.0 进行验证。它支持多种工具调用格式,包括 JSON、XML 和 XML 类型,默认使用 XML。该模型旨在高推理努力设置下使用,确保在各种应用中的最佳性能。

该模型适用于多种应用,包括代理工具使用、终端使用、科学编码和研究生级科学问答。它在长上下文推理和保持事实准确性方面特别有效,使其成为人工智能社区研究人员和开发人员的宝贵工具。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 专家混合架构

  • Mixture-of-Values 注意力机制

  • 360 亿个参数

  • 40 亿个活跃参数

  • 开源检查点和数据

  • 512K 上下文窗口

  • 可用中间检查点

  • 通过 Transformers 和 PyTorch 验证

  1. 访问模型页面:访问 Hugging Face

  2. 身份验证:登录到您的账户

  3. 配置:将 reasoning_effort 设置为高

  4. 发送提示:使用推荐设置的 API

  5. 微调:利用可用的检查点

  • 代理工具使用
  • 终端使用
  • 科学编码
  • 研究生级问答
  • 长上下文推理

K2-Horizon-MoVA-36B-A4B 评价

加载中...

与 K2-Horizon-MoVA-36B-A4B 类似的热门AI工具

Kimi-K2-Instruct 是一款先进的混合专家语言模型,专为高级人工智能任务而设计。它在推理、编码和工具使用方面表现出色,提供了32亿激活参数的强大性能。

AI 模型与大语言模型

大语言模型 排名第 44 位

查看工具

先进的混合专家语言模型,专为高级人工智能任务而设计。它在推理、编码和工具使用方面表现出色,提供了32亿激活参数的强大性能。Kimi-K2-Instruct 是一款先进的混合专家语言模型,专为高级人工智能任务而设计。它在推理、编码和工具使用方面表现出色,提供了32亿激活参数的强大性能。

AI 模型与大语言模型
大语言模型 排名第 44 位

Kimi K3是一款先进的开放权重多模态AI模型,旨在进行长时间编码、知识工作和推理。它具有100万标记的上下文窗口,并基于创新架构构建,以提高效率和性能。

AI 模型与大语言模型
查看工具

先进的开放权重多模态AI模型,旨在进行长时间编码、知识工作和推理。它具有100万标记的上下文窗口,并基于创新架构构建,以提高效率和性能。Kimi K3是一款先进的开放权重多模态AI模型,旨在进行长时间编码、知识工作和推理。它具有100万标记的上下文窗口,并基于创新架构构建,以提高效率和性能。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

DeepSeek-V4-Pro

大语言模型

DeepSeek-V4-Pro是一个先进的AI模型,旨在实现高效的百万标记上下文智能。它具有混合注意力架构,并在超过32万亿个标记上进行了预训练,适用于复杂推理任务和编码基准。

AI 模型与大语言模型
查看工具

大语言模型

先进的AI模型,旨在实现高效的百万标记上下文智能。它具有混合注意力架构,并在超过32万亿个标记上进行了预训练,适用于复杂推理任务和编码基准。DeepSeek-V4-Pro是一个先进的AI模型,旨在实现高效的百万标记上下文智能。它具有混合注意力架构,并在超过32万亿个标记上进行了预训练,适用于复杂推理任务和编码基准。

精选AI 模型与大语言模型
查看 大语言模型 Top 50

Laguna S 2.1

大语言模型

Laguna S 2.1 是一个混合专家模型,旨在进行自主编码和长时间任务。它拥有 1180 亿个参数,并提供先进的推理能力,适用于复杂的软件工程应用。

AI 模型与大语言模型

大语言模型 排名第 32 位

查看工具

大语言模型

混合专家模型,旨在进行自主编码和长时间任务。它拥有 1180 亿个参数,并提供先进的推理能力,适用于复杂的软件工程应用。Laguna S 2.1 是一个混合专家模型,旨在进行自主编码和长时间任务。它拥有 1180 亿个参数,并提供先进的推理能力,适用于复杂的软件工程应用。

AI 模型与大语言模型
大语言模型 排名第 32 位

Kimi K2.7 代码

大语言模型

Kimi K2.7 代码是一个以编码为中心的智能模型,旨在提升软件工程工作流程。它提高了令牌效率和任务完成度,相较于其前身 Kimi K2.6 提供了显著的进步。

AI 编程助手

大语言模型 排名第 17 位

查看工具

大语言模型

以编码为中心的智能模型,旨在提升软件工程工作流程。它提高了令牌效率和任务完成度,相较于其前身 Kimi K2.6 提供了显著的进步。Kimi K2.7 代码是一个以编码为中心的智能模型,旨在提升软件工程工作流程。它提高了令牌效率和任务完成度,相较于其前身 Kimi K2.6 提供了显著的进步。

AI 编程助手
大语言模型 排名第 17 位

Hy3

大语言模型

Hy3是由腾讯Hy团队开发的295B参数混合专家模型。它在推理、代理和长上下文任务中表现出色,在各种生产力场景中提供可靠的性能。

AI 模型与大语言模型

大语言模型 排名第 25 位

查看工具

大语言模型

由腾讯Hy团队开发的295B参数混合专家模型。它在推理、代理和长上下文任务中表现出色,在各种生产力场景中提供可靠的性能。Hy3是由腾讯Hy团队开发的295B参数混合专家模型。它在推理、代理和长上下文任务中表现出色,在各种生产力场景中提供可靠的性能。

AI 模型与大语言模型
大语言模型 排名第 25 位

AliceAI-Foundation-80B-A3B-Base 是一个具有混合架构和 MoE 层的基础语言模型,拥有 800 亿个参数。它在事实知识任务中表现出色,尤其是在俄语方面,并支持最长 262,144 个标记的上下文长度。

AI 模型与大语言模型

大语言模型 排名第 29 位

查看工具

具有混合架构和 MoE 层的基础语言模型,拥有 800 亿个参数。它在事实知识任务中表现出色,尤其是在俄语方面,并支持最长 262,144 个标记的上下文长度。AliceAI-Foundation-80B-A3B-Base 是一个具有混合架构和 MoE 层的基础语言模型,拥有 800 亿个参数。它在事实知识任务中表现出色,尤其是在俄语方面,并支持最长 262,144 个标记的上下文长度。

AI 模型与大语言模型
大语言模型 排名第 29 位

Solar Open 2

大语言模型

Solar Open 2 是 Upstage 开发的大型语言模型,专为办公生产力和编码等代理性用例设计。它采用混合注意力专家混合架构,提供高效推理和多语言支持。

AI 模型与大语言模型

大语言模型 排名第 18 位

查看工具

大语言模型

Upstage 开发的大型语言模型,专为办公生产力和编码等代理性用例设计。它采用混合注意力专家混合架构,提供高效推理和多语言支持。Solar Open 2 是 Upstage 开发的大型语言模型,专为办公生产力和编码等代理性用例设计。它采用混合注意力专家混合架构,提供高效推理和多语言支持。

AI 模型与大语言模型
大语言模型 排名第 18 位
1/8