Descripción
ERNIE-5.5-Flash-Base-BF16 es un sofisticado modelo de lenguaje escaso de Mixture-of-Experts (MoE) desarrollado por Baidu. Cuenta con un total sustancial de 280 mil millones de parámetros, con 14 mil millones activados por token, lo que lo hace altamente eficiente para tareas complejas de lenguaje. El modelo fue preentrenado desde cero en un extenso conjunto de datos de 33.5 billones de tokens, utilizando un contexto de entrenamiento de hasta 128,000 tokens. Para el ajuste fino y la inferencia, admite una impresionante longitud de contexto de 1 millón de tokens, lo que permite una comprensión profunda y generación de contenido extenso.
Leer más
Diseñado con la eficiencia como principio fundamental, ERNIE 5.5 Flash revisita cada componente, desde mecanismos de atención y conexiones residuales hasta capas de MoE y la cabeza de salida. Este enfoque holístico asegura un rendimiento óptimo mientras gestiona los costos de computación, caché KV y contexto largo. Los datos de preentrenamiento enfatizan capacidades cruciales para aplicaciones avanzadas, como la comprensión de código a escala de repositorio y la comprensión de contexto largo, permitiendo a los desarrolladores construir sobre sus capacidades generales para diversos casos de uso.
ERNIE-5.5-Flash-Base-BF16 representa el punto de control al final del preentrenamiento, sirviendo como un modelo fundamental antes de cualquier etapa de entrenamiento medio o posterior. Esto lo convierte en un punto de partida ideal para investigadores y desarrolladores involucrados en adaptación de dominio, ajuste de instrucciones e investigación en aprendizaje por refuerzo. El modelo ha demostrado resultados sólidos a través de un pipeline de evaluación unificado, destacándose en benchmarks relacionados con conocimiento, razonamiento, matemáticas, código, tareas multilingües y comprensión de contexto largo.
La arquitectura incorpora un MoE de atención híbrida 280B-A14B con 43 capas, incluyendo 1 FFN denso y 42 capas de MoE Latente Multi-Router. Cuenta con 37 capas de Atención Comprimida (HCA) y 6 capas de Atención Latente Multi-cabeza (MLA + DSA) con atención escasa. El modelo utiliza 512 expertos enrutados (top-10) más 1 experto compartido por capa de MoE. Innovaciones como Atención Gated de Bajo Rango, Atención de Cabeza Virtual (VHA), MoE Latente Multi-Router, ECHO, Conexiones Hiper-construidas con Manifold (mHC) y Cabeza de Salida MultiMax contribuyen a sus capacidades avanzadas y eficiencia. El tokenizador admite aproximadamente 200,000 entradas y tokeniza números de derecha a izquierda en grupos de hasta tres dígitos.
El despliegue es compatible con SGLang y vLLM, permitiendo el servicio en producción con longitudes de contexto de hasta 1,048,576 tokens. El modelo está disponible bajo el Acuerdo de Licencia del Modelo Base ERNIE 5.5 Flash v1.0.
- CategoríaModelos de IA y LLM
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de ERNIE-5.5-Flash-Base-BF16
280 mil millones de parámetros en total
14 mil millones de parámetros activados por token
Preentrenado en 33.5 billones de tokens
Contexto de entrenamiento de hasta 128,000 tokens
El ajuste fino y la inferencia admiten un contexto de 1 millón de tokens
Arquitectura escasa de Mixture-of-Experts (MoE) eficiente
MoE de atención híbrida con 43 capas
37 capas de Atención Comprimida (HCA)
6 capas de Atención Latente Multi-cabeza (MLA + DSA)
512 expertos enrutados (top-10) más 1 experto compartido por capa de MoE
Atención Gated de Bajo Rango y Atención de Cabeza Virtual (VHA)
MoE Latente Multi-Router para selección precisa de expertos
ECHO para pérdida multi-horizonte y decodificación especulativa
Conexiones Hiper-construidas con Manifold (mHC) para propagación de señales
Cabeza de Salida MultiMax para distribución de vocabulario afinada
Tokenizador BPE de aproximadamente 200,000 entradas
Soporte para SGLang y vLLM para servicio en producción
Primeros pasos con ERNIE-5.5-Flash-Base-BF16
Acceder a la Página del Modelo: Navegar a la página de ERNIE-5.5-Flash-Base-BF16 en Hugging Face.
Explorar Archivos: Revisar los archivos del modelo y la documentación disponible en la página.
Descargar Modelo: Descargar el punto de control del modelo ERNIE-5.5-Flash-Base-BF16.
Instalar vLLM y Plugin: Instalar vLLM y el plugin de ERNIE 5.5 para el despliegue.
Lanzar Servidor: Usar SGLang o vLLM para lanzar el servidor del modelo.
Enviar Solicitudes: Enviar solicitudes al endpoint de completions usando herramientas como curl para inferencia.
Casos de uso de ERNIE-5.5-Flash-Base-BF16
- Generación de Texto
- Adaptación de Dominio
- Ajuste de Instrucciones
- Investigación en Aprendizaje por Refuerzo
- Comprensión de Código
- Comprensión de Contexto Largo
- Aplicaciones Multilingües
- Tareas de Razonamiento
- Aplicaciones Agentes









