ERNIE-5.5-Flash-Base

Conçu avec l'efficacité comme objectif principal, ERNIE 5.5 Flash revisite chaque composant, des mécanismes d'attention et des connexions résiduelles aux couches MoE et à la tête de sortie. Cette approche holistique considère le calcul activé, le cache KV et les coûts de long contexte comme partie intégrante d'un design intégré. Les données de pré-entraînement mettent l'accent sur des capacités difficiles à construire après l'entraînement, telles que la compréhension du code à l'échelle des dépôts et la compréhension des longs contextes. Le système d'entraînement a été co-conçu avec l'architecture pour garantir une mise à l'échelle efficace.

ERNIE-5.5-Flash-Base représente le point de contrôle à la fin du pré-entraînement, ce qui en fait une base idéale pour les développeurs. Il permet l'adaptation au domaine, le réglage des instructions et la recherche en apprentissage par renforcement. Le modèle démontre de solides résultats à travers un pipeline d'évaluation unifié, couvrant les connaissances, le raisonnement, les mathématiques, le code, les tâches multilingues et les benchmarks de long contexte. Ses performances sont évaluées par rapport à d'autres grands modèles comme DeepSeek-V4-Flash-Base, Hy3-preview-Base et MiMo-V2.5-Base, tous évalués dans des conditions cohérentes.

L'architecture incorpore un MoE hybride d'attention 280B-A14B avec 43 couches, y compris 1 FFN dense et 42 couches MoE Latentes Multi-Router. Elle comprend 37 couches d'attention fortement compressées (HCA) et 6 couches d'attention latente multi-têtes avec attention sparse (MLA + DSA). Le modèle utilise 512 experts routés (top-10) plus 1 expert partagé par couche MoE. Les innovations clés incluent l'attention hybride MLA + HCA avec des dimensions de tête spécifiques à la couche, l'attention à faible rang avec portes, l'attention de tête virtuelle (VHA), le MoE latent Multi-Router, ECHO pour la prédiction de tokens futurs, les hyperconnexions contraintes par des variétés (mHC) et une tête de sortie MultiMax. Le tokenizer utilise un tokenizer BPE d'environ 200K entrées qui tokenize les nombres de droite à gauche par groupes de jusqu'à trois chiffres.

Le déploiement d'ERNIE-5.5-Flash-Base est pris en charge avec SGLang et vLLM, permettant un service de production avec des longueurs de contexte allant jusqu'à 1 048 576 tokens pour l'inférence à long contexte. Le modèle est fourni sous l'accord de licence du modèle ERNIE 5.5 Flash Base v1.0, avec des droits d'auteur détenus par Baidu.