Descripción
K2-Horizon-MoVA-36B-A4B es un sofisticado modelo Mixture-of-Experts que incorpora atención Mixture-of-Values, diseñado para manejar tareas complejas con eficiencia. Es parte de la familia K2-Horizon y es notable por su arquitectura dispersa, que le permite almacenar 36 mil millones de parámetros mientras ejecuta 4 mil millones por token. Este modelo ha sido lanzado con acceso abierto a sus puntos de control, datos y código de entrenamiento, apoyando la democratización de la inteligencia artificial a través de iniciativas de código abierto y ciencia abierta.
Leer más
El modelo logra resultados de clase frontera, destacándose particularmente en benchmarks de agentic y razonamiento. Supera a modelos densos de peso abierto de aproximadamente 30 mil millones en tamaño y modelos MoE hasta 15 veces su tamaño, mientras que también compite de manera efectiva contra modelos de frontera cerrados. Con una ventana de contexto nativa de 524,288 tokens, K2-Horizon-MoVA-36B-A4B soporta un procesamiento de contexto extenso desde las etapas intermedias de entrenamiento en adelante.
Se encuentran disponibles puntos de control intermedios, lo que permite a los investigadores estudiar los cambios de capacidad a través de diferentes etapas de entrenamiento. Los datos de entrenamiento y la receta del modelo, junto con el código de entrenamiento, son completamente abiertos, promoviendo la transparencia y colaboración en la investigación de IA.
K2-Horizon-MoVA-36B-A4B está validado con Transformers 5.15.0, PyTorch 2.13.0 y Safetensors 0.8.0. Soporta múltiples formatos de llamada a herramientas, incluyendo JSON, XML y XML-typed, siendo XML el predeterminado. El modelo está diseñado para ser utilizado con configuraciones de alto esfuerzo de razonamiento, asegurando un rendimiento óptimo en diversas aplicaciones.
El modelo es adecuado para una variedad de aplicaciones, incluyendo el uso de herramientas agentic, uso de terminal, codificación científica y QA de ciencia a nivel de posgrado. Es particularmente efectivo en razonamiento de largo contexto y mantenimiento de precisión fáctica, convirtiéndolo en una herramienta valiosa para investigadores y desarrolladores en la comunidad de IA.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de K2-Horizon-MoVA-36B-A4B
Arquitectura Mixture-of-Experts
Atención Mixture-of-Values
36 mil millones de parámetros
4 mil millones de parámetros activos
Puntos de control y datos de código abierto
Ventana de contexto de 512K
Puntos de control intermedios disponibles
Validado con Transformers y PyTorch
Primeros pasos con K2-Horizon-MoVA-36B-A4B
Acceder a la página del modelo: Visitar Hugging Face
Autenticarse: Iniciar sesión en su cuenta
Configurar: Establecer el esfuerzo de razonamiento en alto
Enviar solicitudes: Usar API con configuraciones recomendadas
Ajustar: Utilizar los puntos de control disponibles
Casos de uso de K2-Horizon-MoVA-36B-A4B
- Uso de Herramientas Agentic
- Uso de Terminal
- Codificación Científica
- QA a Nivel de Posgrado
- Razonamiento de Largo Contexto
