Description
MiniCPM5-2B est le deuxième modèle de la série MiniCPM5, suivant MiniCPM5-1B. C'est un modèle Transformer dense de 2B construit pour un déploiement local sur appareil et dans des scénarios à ressources limitées. Ce modèle utilise la même recette d'entraînement et atteint des performances de pointe (SOTA) parmi les modèles open-source de classe 2B. Il reste compétitif par rapport aux modèles de classe 4B plus grands, excelling particulièrement dans des domaines tels que le codage, les mathématiques, la compréhension de longs contextes, l'utilisation d'outils et les tâches agentiques.
Lire la suite
Le modèle est entraîné à l'aide de jeux de données de haute qualité de la famille UltraData, y compris UltraX pour le pré-entraînement web, UltraData-Code pour les capacités de codage, UltraData-SFT-Agent-2609 pour l'entraînement agent et UltraData-RL-2609 pour l'apprentissage par renforcement. Ces jeux de données contribuent aux capacités complètes du modèle, le rendant adapté à diverses applications telles que les assistants locaux, les agents de codage et les scénarios de raisonnement.
MiniCPM5-2B utilise une architecture standard LlamaForCausalLM avec 2 516 756 480 paramètres, 42 couches et une longueur de contexte de 131 072. Il est conçu pour fournir un support natif pour les longs contextes tout en maintenant une empreinte de déploiement réduite. L'entraînement du modèle implique une pratique complète de gestion des données en couches UltraData, couvrant les étapes d'entraînement de base, d'entraînement intermédiaire et d'entraînement postérieur.
Lors de l'entraînement postérieur, le modèle subit un ajustement fin supervisé (SFT), un apprentissage par renforcement (RL) et une distillation en politique (OPD) pour améliorer encore ses capacités. RL + OPD améliore considérablement le raisonnement et les capacités générales du modèle, fusionnant l'expertise de 16 modèles spécialisés en un seul modèle de sortie.
MiniCPM5-2B est disponible dans divers formats adaptés à différents scénarios de déploiement, y compris BF16, GGUF et MLX. Il prend en charge plusieurs backends tels que Transformers, vLLM, SGLang et llama.cpp, permettant un déploiement flexible sur différentes plateformes et appareils. Le modèle est publié sous la licence Apache-2.0, garantissant un accès ouvert et une collaboration.
- CatégorieModèles d'IA et LLM
Points forts de MiniCPM5-2B
Modèle Transformer dense de 2B
Déploiement sur appareil
Scénarios à ressources limitées
Performances de pointe
Jeux de données d'entraînement de haute qualité
Architecture standard LlamaForCausalLM
Support natif pour les longs contextes
Gestion des données en couches UltraData
Premiers pas avec MiniCPM5-2B
Accéder à la page du modèle : Visitez la page du modèle Hugging Face
S'authentifier : Connectez-vous à votre compte Hugging Face
Configurer : Configurez les paramètres et l'environnement du modèle
Envoyer des invites : Utilisez le modèle pour vos tâches spécifiques
Ajuster : Ajustez le modèle pour des applications spécialisées
Cas d'utilisation de MiniCPM5-2B
- Assistants Locaux
- Agents de Codage
- Flux de Travail d'Utilisation d'Outils
- Scénarios de Raisonnement
- Tâches Agentiques
