Descrição
K2-Horizon-MoVA-36B-A4B é um sofisticado modelo Mixture-of-Experts que incorpora atenção Mixture-of-Values, projetado para lidar com tarefas complexas com eficiência. Faz parte da família K2-Horizon e é notável por sua arquitetura esparsa, que permite armazenar 36 bilhões de parâmetros enquanto executa 4 bilhões por token. Este modelo foi lançado com acesso aberto a seus checkpoints, dados e código de treinamento, apoiando a democratização da inteligência artificial por meio de iniciativas de código aberto e ciência aberta.
Ler mais
O modelo alcança resultados de classe de fronteira, destacando-se particularmente em benchmarks de agentic e raciocínio. Ele supera modelos densos de peso aberto de aproximadamente 30 bilhões em tamanho e modelos MoE até 15 vezes seu tamanho, enquanto também compete efetivamente contra modelos de fronteira fechados. Com uma janela de contexto nativa de 524.288 tokens, K2-Horizon-MoVA-36B-A4B suporta processamento de contexto extenso desde os estágios intermediários de treinamento.
Checkpoints intermediários estão disponíveis, permitindo que pesquisadores estudem mudanças de capacidade em diferentes estágios de treinamento. Os dados de treinamento e a receita do modelo, juntamente com o código de treinamento, são totalmente abertos, promovendo transparência e colaboração na pesquisa em IA.
K2-Horizon-MoVA-36B-A4B é validado com Transformers 5.15.0, PyTorch 2.13.0 e Safetensors 0.8.0. Suporta múltiplos formatos de chamada de ferramenta, incluindo JSON, XML e XML-typed, com XML como padrão. O modelo é projetado para ser usado com configurações de alto esforço de raciocínio, garantindo desempenho ideal em várias aplicações.
O modelo é adequado para uma variedade de aplicações, incluindo uso de ferramentas agentic, uso de terminais, codificação científica e QA em nível de pós-graduação. É particularmente eficaz em raciocínio de longo contexto e manutenção da precisão factual, tornando-se uma ferramenta valiosa para pesquisadores e desenvolvedores na comunidade de IA.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de K2-Horizon-MoVA-36B-A4B
Arquitetura Mixture-of-Experts
Atenção Mixture-of-Values
36 bilhões de parâmetros
4 bilhões de parâmetros ativos
Checkpoints e dados de código aberto
Janela de contexto de 512K
Checkpoints intermediários disponíveis
Validado com Transformers e PyTorch
Primeiros passos com K2-Horizon-MoVA-36B-A4B
Acesse a página do modelo: Visite Hugging Face
Autentique-se: Faça login na sua conta
Configure: Defina o esforço de raciocínio como alto
Envie prompts: Use a API com as configurações recomendadas
Ajuste fino: Utilize os checkpoints disponíveis
Casos de uso de K2-Horizon-MoVA-36B-A4B
- Uso de Ferramentas Agentic
- Uso de Terminal
- Codificação Científica
- QA em Nível de Pós-Graduação
- Raciocínio de Longo Contexto
