Descrição
MiniCPM5-2B é o segundo modelo da série MiniCPM5, sucedendo o MiniCPM5-1B. É um modelo Transformer denso de 2B construído para implantação local em dispositivos e cenários com recursos limitados. Este modelo amplia a mesma receita de treinamento e alcança desempenho de ponta (SOTA) dentro dos modelos de código aberto da classe 2B. Ele permanece competitivo com modelos maiores da classe 4B, destacando-se particularmente em áreas como codificação, matemática, compreensão de longos contextos, uso de ferramentas e tarefas agentivas.
Ler mais
O modelo é treinado usando conjuntos de dados de alta qualidade da família UltraData, incluindo UltraX para pré-treinamento na web, UltraData-Code para capacidades de codificação, UltraData-SFT-Agent-2609 para treinamento de agentes e UltraData-RL-2609 para aprendizado por reforço. Esses conjuntos de dados contribuem para as capacidades abrangentes do modelo, tornando-o adequado para várias aplicações, como assistentes locais, agentes de codificação e cenários de raciocínio.
MiniCPM5-2B utiliza uma arquitetura padrão LlamaForCausalLM com 2.516.756.480 parâmetros, 42 camadas e um comprimento de contexto de 131.072. Ele é projetado para fornecer suporte nativo a longos contextos, mantendo uma pequena pegada de implantação. O treinamento do modelo envolve uma prática de gerenciamento de dados em camadas UltraData, cobrindo as etapas de treinamento base, treinamento intermediário e pós-treinamento.
Durante o pós-treinamento, o modelo passa por Ajuste Fino Supervisionado (SFT), Aprendizado por Reforço (RL) e Destilação em Política (OPD) para aprimorar ainda mais suas capacidades. RL + OPD melhora significativamente o raciocínio e as capacidades gerais do modelo, fundindo a expertise de 16 modelos especializados em um único modelo de lançamento.
MiniCPM5-2B está disponível em vários formatos adequados para diferentes cenários de implantação, incluindo BF16, GGUF e MLX. Ele suporta múltiplos backends, como Transformers, vLLM, SGLang e llama.cpp, permitindo uma implantação flexível em diferentes plataformas e dispositivos. O modelo é lançado sob a Licença Apache-2.0, garantindo acesso aberto e colaboração.
- CategoriaModelos de IA e LLMs
Destaques de MiniCPM5-2B
Modelo Transformer denso de 2B
Implantação em dispositivos
Cenários com recursos limitados
Desempenho de ponta
Conjuntos de dados de treinamento de alta qualidade
Arquitetura padrão LlamaForCausalLM
Suporte nativo a longos contextos
Gerenciamento de Dados em Camadas UltraData
Primeiros passos com MiniCPM5-2B
Acesse a página do modelo: Visite a página do modelo no Hugging Face
Autentique-se: Faça login na sua conta do Hugging Face
Configure: Defina os parâmetros e o ambiente do modelo
Envie prompts: Use o modelo para suas tarefas específicas
Ajuste fino: Ajuste o modelo para aplicações especializadas
Casos de uso de MiniCPM5-2B
- Assistentes Locais
- Agentes de Codificação
- Fluxos de Trabalho de Uso de Ferramentas
- Cenários de Raciocínio
- Tarefas Agentivas
