Description
ERNIE-5.5-Flash-Base-BF16 est un modèle de langage sophistiqué basé sur une Mixture-of-Experts (MoE) sparse développé par Baidu. Il dispose d'un total substantiel de 280 milliards de paramètres, avec 14 milliards activés par token, ce qui le rend très efficace pour des tâches linguistiques complexes. Le modèle a été pré-entraîné à partir de zéro sur un ensemble de données étendu de 33,5 trillions de tokens, utilisant un contexte d'entraînement allant jusqu'à 128 000 tokens. Pour le fine-tuning et l'inférence, il prend en charge une impressionnante longueur de contexte de 1 million de tokens, permettant une compréhension approfondie et la génération de contenu long.
Lire la suite
Conçu avec l'efficacité comme principe fondamental, ERNIE 5.5 Flash revisite chaque composant, des mécanismes d'attention et des connexions résiduelles aux couches MoE et à la tête de sortie. Cette approche holistique garantit des performances optimales tout en gérant les coûts de calcul, de cache KV et de long contexte. Les données de pré-entraînement mettent l'accent sur des capacités cruciales pour des applications avancées, telles que la compréhension de code à l'échelle des dépôts et la compréhension de long contexte, permettant aux développeurs de s'appuyer sur ses capacités générales pour divers cas d'utilisation.
ERNIE-5.5-Flash-Base-BF16 représente le point de contrôle à la fin du pré-entraînement, servant de modèle fondamental avant toute étape de formation intermédiaire ou postérieure. Cela en fait un point de départ idéal pour les chercheurs et les développeurs engagés dans l'adaptation de domaine, le tuning d'instructions et l'apprentissage par renforcement. Le modèle a démontré de solides résultats à travers un pipeline d'évaluation unifié, excellant dans des benchmarks liés à la connaissance, au raisonnement, aux mathématiques, au code, aux tâches multilingues et à la compréhension de long contexte.
L'architecture incorpore un MoE hybride d'attention 280B-A14B avec 43 couches, y compris 1 FFN dense et 42 couches MoE Latentes Multi-Router. Il dispose de 37 couches d'Attention Lourdement Comprimée (HCA) et de 6 couches d'Attention Latente Multi-tête (MLA + DSA) avec attention sparse. Le modèle utilise 512 experts routés (top-10) plus 1 expert partagé par couche MoE. Des innovations telles que l'Attention Gated à Faible Rang, l'Attention de Tête Virtuelle (VHA), le MoE Latent Multi-Router, ECHO, les Hyper-Connexions Contraintes par Variété (mHC) et la Tête de Sortie MultiMax contribuent à ses capacités avancées et à son efficacité. Le tokenizer prend en charge environ 200 000 entrées et tokenize les nombres de droite à gauche par groupes de jusqu'à trois chiffres.
Le déploiement est pris en charge avec SGLang et vLLM, permettant un service de production avec des longueurs de contexte allant jusqu'à 1 048 576 tokens. Le modèle est disponible sous l'Accord de Licence du Modèle de Base ERNIE 5.5 Flash v1.0.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesWeb
Points forts de ERNIE-5.5-Flash-Base-BF16
280 milliards de paramètres au total
14 milliards de paramètres activés par token
Pré-entraîné sur 33,5 trillions de tokens
Contexte d'entraînement allant jusqu'à 128 000 tokens
Le fine-tuning et l'inférence prennent en charge un contexte de 1 million de tokens
Architecture MoE sparse efficace
MoE hybride d'attention avec 43 couches
37 couches d'Attention Lourdement Comprimée (HCA)
6 couches d'Attention Latente Multi-tête (MLA + DSA)
512 experts routés (top-10) plus 1 expert partagé par couche MoE
Attention Gated à Faible Rang et Attention de Tête Virtuelle (VHA)
MoE Latent Multi-Router pour une sélection précise des experts
ECHO pour la perte multi-horizon et le décodage spéculatif
Hyper-Connexions Contraintes par Variété (mHC) pour la propagation du signal
Tête de Sortie MultiMax pour une distribution de vocabulaire affinée
Tokenizer BPE d'environ 200 000 entrées
Support pour SGLang et vLLM pour le service de production
Premiers pas avec ERNIE-5.5-Flash-Base-BF16
Accéder à la page du modèle : Naviguez vers la page ERNIE-5.5-Flash-Base-BF16 sur Hugging Face.
Explorer les fichiers : Consultez les fichiers du modèle et la documentation disponibles sur la page.
Télécharger le modèle : Téléchargez le point de contrôle du modèle ERNIE-5.5-Flash-Base-BF16.
Installer vLLM et le plugin : Installez vLLM et le plugin ERNIE 5.5 pour le déploiement.
Lancer le serveur : Utilisez SGLang ou vLLM pour lancer le serveur du modèle.
Envoyer des requêtes : Envoyez des requêtes à l'endpoint de complétions en utilisant des outils comme curl pour l'inférence.
Cas d'utilisation de ERNIE-5.5-Flash-Base-BF16
- Génération de texte
- Adaptation de domaine
- Tuning d'instructions
- Recherche en apprentissage par renforcement
- Compréhension de code
- Compréhension de long contexte
- Applications multilingues
- Tâches de raisonnement
- Applications agentiques









