Descripción
MiniCPM5-2B es el segundo modelo de la serie MiniCPM5, siguiendo a MiniCPM5-1B. Es un modelo Transformer denso de 2B construido para implementación local en dispositivos y escenarios con recursos limitados. Este modelo amplía la misma receta de entrenamiento y logra un rendimiento de vanguardia (SOTA) dentro de los modelos de código abierto de clase 2B. Se mantiene competitivo con modelos más grandes de clase 4B, destacando particularmente en áreas como codificación, matemáticas, comprensión de contextos largos, uso de herramientas y tareas agenticas.
Leer más
El modelo se entrena utilizando conjuntos de datos de alta calidad de la familia UltraData, incluyendo UltraX para preentrenamiento web, UltraData-Code para capacidades de codificación, UltraData-SFT-Agent-2609 para entrenamiento de agentes y UltraData-RL-2609 para aprendizaje por refuerzo. Estos conjuntos de datos contribuyen a las capacidades integrales del modelo, haciéndolo adecuado para diversas aplicaciones como asistentes locales, agentes de codificación y escenarios de razonamiento.
MiniCPM5-2B emplea una arquitectura estándar LlamaForCausalLM con 2,516,756,480 parámetros, 42 capas y una longitud de contexto de 131,072. Está diseñado para proporcionar soporte nativo para contextos largos mientras mantiene una huella de implementación pequeña. El entrenamiento del modelo implica una práctica de gestión de datos en capas de UltraData, cubriendo las etapas de entrenamiento base, medio y posterior.
Durante el entrenamiento posterior, el modelo se somete a un ajuste fino supervisado (SFT), aprendizaje por refuerzo (RL) y destilación en política (OPD) para mejorar aún más sus capacidades. RL + OPD mejora significativamente el razonamiento y las capacidades generales del modelo, fusionando la experiencia de 16 modelos especializados en un único modelo de lanzamiento.
MiniCPM5-2B está disponible en varios formatos adecuados para diferentes escenarios de implementación, incluyendo BF16, GGUF y MLX. Soporta múltiples backends como Transformers, vLLM, SGLang y llama.cpp, permitiendo una implementación flexible en diferentes plataformas y dispositivos. El modelo se publica bajo la Licencia Apache-2.0, asegurando acceso abierto y colaboración.
- CategoríaModelos de IA y LLM
Aspectos destacados de MiniCPM5-2B
Modelo Transformer denso de 2B
Implementación en dispositivos
Escenarios con recursos limitados
Rendimiento de vanguardia
Conjuntos de datos de entrenamiento de alta calidad
Arquitectura estándar LlamaForCausalLM
Soporte nativo para contextos largos
Gestión de datos en capas de UltraData
Primeros pasos con MiniCPM5-2B
Acceder a la página del modelo: Visita la página del modelo en Hugging Face
Autenticarse: Inicia sesión en tu cuenta de Hugging Face
Configurar: Establece los parámetros y el entorno del modelo
Enviar solicitudes: Utiliza el modelo para tus tareas específicas
Ajustar: Ajusta el modelo para aplicaciones especializadas
Casos de uso de MiniCPM5-2B
- Asistentes Locales
- Agentes de Codificación
- Flujos de Trabajo de Uso de Herramientas
- Escenarios de Razonamiento
- Tareas Agenticas
