Description
Hy4 Preview est un modèle Mixture-of-Experts (MoE) à la pointe de la technologie, développé par l'équipe Hy de Tencent. Il dispose d'un total de 770 milliards de paramètres, avec 49 milliards activés par jeton. L'architecture du modèle se compose de 78 couches, utilisant une combinaison de couches FFN denses et de couches MoE, chacune contenant 256 experts routés et un expert partagé. Ce design permet l'activation des 8 meilleurs experts routés par jeton, améliorant ainsi ses capacités de traitement.
Lire la suite
Le modèle utilise une Attention Sparse Gated DeepSeek (Gated DSA) avec IndexCache pour un réemploi efficace des index spars entre les couches. Son chemin résiduel utilise des Hyper-Connexions d'identité (iHC) pour améliorer le flux d'informations entre les couches. Hy4 Preview est dimensionné en termes de taille de modèle, de longueur de contexte et de données d'entraînement, ce qui en fait un leader parmi les modèles d'IA open-source.
Hy4 Preview est conçu pour exceller dans divers domaines, y compris l'ingénierie logicielle, où il aide à comprendre, planifier, déboguer et vérifier des tâches à long terme. Dans le développement de jeux, il peut transformer un seul prompt en prototype jouable, fonctionnant sans problème avec des moteurs de jeu. Pour les tâches de bureau et d'analyse, il convertit un contexte désordonné en artefacts partageables comme des documents et des tableurs. Dans la recherche scientifique, il offre de fortes capacités de raisonnement et de résolution de problèmes.
Le modèle est open-source et disponible sur des plateformes comme Hugging Face, ModelScope, GitCode et CNB. Il prend en charge le déploiement avec vLLM ou SGLang et propose un pipeline complet de finetuning du modèle. Hy4 Preview est publié sous la licence Apache 2.0, garantissant son accessibilité et son adaptabilité pour diverses applications.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Hy4 Preview
Architecture Mixture-of-Experts
770 milliards de paramètres
Attention Sparse Gated DeepSeek
Hyper-Connexions d'identité
Open Source
Support du fine-tuning
Décodage spéculatif
Disponible sur Hugging Face
Premiers pas avec Hy4 Preview
Accéder à la page du modèle : Visitez la page officielle de Hugging Face
S'authentifier : Connectez-vous ou créez un compte
Configurer : Configurez les paramètres et l'environnement du modèle
Envoyer des prompts : Interagissez avec le modèle en utilisant des appels API
Fine-tuner : Personnalisez le modèle pour des tâches spécifiques
Cas d'utilisation de Hy4 Preview
- Ingénierie Logicielle
- Développement de Jeux
- Analyse de Bureau
- Recherche Scientifique
- Recherche en IA












