Description
Hy3 est un modèle Mixture-of-Experts (MoE) sophistiqué développé par l'équipe Hy de Tencent, avec un total de 295 milliards de paramètres, dont 21 milliards de paramètres actifs et 3,8 milliards de paramètres de couche MTP. Lancé après l'aperçu de Hy3, le modèle a été affiné grâce aux retours de plus de 50 produits et amélioré après l'entraînement avec des données de haute qualité. Hy3 surpasse les modèles de taille similaire et rivalise avec les modèles open-source phares ayant 2 à 5 fois plus de paramètres.
Lire la suite
Le modèle démontre des gains d'utilité significatifs dans diverses tâches de productivité, y compris la programmation, le travail de bureau, la modélisation financière, la conception frontend et le développement de jeux. C'est une option rentable pour ceux qui recherchent des performances fiables dans ces domaines. L'architecture de Hy3 comprend 80 couches, une couche MTP, 64 têtes d'attention et une taille cachée de 4096, supportant une longueur de contexte de 256K et une taille de vocabulaire de 120 832.
Les performances de Hy3 ne sont pas entièrement capturées par les benchmarks publics, donc une évaluation à l'aveugle avec 270 experts a été réalisée, où il a obtenu un score de 2,67 sur 4, surpassant GLM-5.1. Le modèle excelle dans le développement frontend, les données et le stockage, ainsi que les tâches CI/CD. Des améliorations en matière de stabilité, de rétention des connaissances et de suivi des intentions multi-tours ont été apportées, réduisant considérablement les taux d'hallucination et les erreurs de bon sens.
Hy3 est open-source, avec des poids de modèle disponibles sur des plateformes comme Hugging Face, ModelScope, GitCode et CNB. Il prend en charge le déploiement avec vLLM ou SGLang et offre un pipeline complet de finetuning du modèle. Le modèle est publié sous la licence Apache 2.0.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Hy3
295B paramètres au total
Architecture Mixture-of-Experts
21B paramètres actifs
3,8B paramètres de couche MTP
80 couches excluant MTP
64 têtes d'attention
Longueur de contexte de 256K
Taille de vocabulaire de 120 832
Open source
Support de finetuning
Premiers pas avec Hy3
Accéder à la page du modèle : Visitez la page Hy3 sur Hugging Face
S'authentifier : Connectez-vous à votre compte Hugging Face
Configurer : Définissez les paramètres et préférences du modèle
Envoyer des invites : Interagissez avec le modèle en utilisant votre saisie
Finetuner : Ajustez le modèle pour des tâches spécifiques
Cas d'utilisation de Hy3
- Assistance à la programmation
- Automatisation de bureau
- Modélisation financière
- Conception frontend
- Développement de jeux
