Description
K2-Horizon-MoVA-36B-A4B est un modèle Mixture-of-Experts sophistiqué qui intègre l'attention Mixture-of-Values, conçu pour gérer des tâches complexes avec efficacité. Il fait partie de la famille K2-Horizon et se distingue par son architecture éparse, qui lui permet de stocker 36 milliards de paramètres tout en exécutant 4 milliards par jeton. Ce modèle a été publié avec un accès ouvert à ses points de contrôle, données et code d'entraînement, soutenant la démocratisation de l'intelligence artificielle à travers des initiatives open-source et open science.
Lire la suite
Le modèle atteint des résultats de classe avant-garde, excelling particulièrement dans les benchmarks agentiques et de raisonnement. Il surpasse les modèles denses à poids ouverts d'environ 30 milliards de taille et les modèles MoE jusqu'à 15 fois sa taille, tout en rivalisant efficacement contre des modèles fermés de pointe. Avec une fenêtre de contexte native de 524 288 jetons, K2-Horizon-MoVA-36B-A4B prend en charge un traitement de contexte étendu à partir des étapes intermédiaires de l'entraînement.
Des points de contrôle intermédiaires sont disponibles, permettant aux chercheurs d'étudier les changements de capacité à travers différentes étapes d'entraînement. Les données d'entraînement et la recette du modèle, ainsi que le code d'entraînement, sont entièrement ouverts, promouvant la transparence et la collaboration dans la recherche en IA.
K2-Horizon-MoVA-36B-A4B est validé avec Transformers 5.15.0, PyTorch 2.13.0 et Safetensors 0.8.0. Il prend en charge plusieurs formats d'appel d'outils, y compris JSON, XML et XML-typé, avec XML comme format par défaut. Le modèle est conçu pour être utilisé avec des paramètres d'effort de raisonnement élevés, garantissant des performances optimales dans diverses applications.
Le modèle est adapté à une gamme d'applications, y compris l'utilisation d'outils agentiques, l'utilisation de terminaux, le codage scientifique et les tâches de QA scientifique de niveau supérieur. Il est particulièrement efficace dans le raisonnement à long contexte et le maintien de l'exactitude factuelle, ce qui en fait un outil précieux pour les chercheurs et les développeurs de la communauté IA.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de K2-Horizon-MoVA-36B-A4B
Architecture Mixture-of-Experts
Attention Mixture-of-Values
36 milliards de paramètres
4 milliards de paramètres actifs
Points de contrôle et données open-source
Fenêtre de contexte de 512K
Points de contrôle intermédiaires disponibles
Validé avec Transformers et PyTorch
Premiers pas avec K2-Horizon-MoVA-36B-A4B
Accéder à la page du modèle : Visitez Hugging Face
S'authentifier : Connectez-vous à votre compte
Configurer : Définissez l'effort_de_raisonnement sur élevé
Envoyer des invites : Utilisez l'API avec les paramètres recommandés
Affiner : Utilisez les points de contrôle disponibles
Cas d'utilisation de K2-Horizon-MoVA-36B-A4B
- Utilisation d'Outils Agentiques
- Utilisation de Terminaux
- Codage Scientifique
- QA de Niveau Supérieur
- Raisonnement à Long Contexte
