Descrição
ERNIE-5.5-Flash-Base-BF16 é um sofisticado modelo de linguagem esparso Mixture-of-Experts (MoE) desenvolvido pela Baidu. Ele possui um total substancial de 280 bilhões de parâmetros, com 14 bilhões ativados por token, tornando-o altamente eficiente para tarefas complexas de linguagem. O modelo foi pré-treinado do zero em um extenso conjunto de dados de 33,5 trilhões de tokens, utilizando um contexto de treinamento de até 128.000 tokens. Para fine-tuning e inferência, suporta um impressionante comprimento de contexto de 1 milhão de tokens, permitindo uma compreensão profunda e geração de conteúdo longo.
Ler mais
Projetado com a eficiência como princípio central, ERNIE 5.5 Flash revisita cada componente, desde mecanismos de atenção e conexões residuais até camadas MoE e a cabeça de saída. Esta abordagem holística garante desempenho ideal enquanto gerencia custos de computação, cache KV e long-context. Os dados de pré-treinamento enfatizam capacidades cruciais para aplicações avançadas, como compreensão de código em escala de repositório e compreensão de long-context, permitindo que desenvolvedores construam sobre suas capacidades gerais para diversos casos de uso.
ERNIE-5.5-Flash-Base-BF16 representa o ponto de verificação no final do pré-treinamento, servindo como um modelo fundamental antes de quaisquer estágios de treinamento intermediário ou posterior. Isso o torna um ponto de partida ideal para pesquisadores e desenvolvedores envolvidos em adaptação de domínio, ajuste de instruções e aprendizado por reforço. O modelo demonstrou resultados fortes em um pipeline de avaliação unificado, destacando-se em benchmarks relacionados a conhecimento, raciocínio, matemática, código, tarefas multilíngues e compreensão de long-context.
A arquitetura incorpora um MoE híbrido de atenção 280B-A14B com 43 camadas, incluindo 1 FFN densa e 42 camadas MoE Latente Multi-Router. Ele apresenta 37 camadas de Atenção Comprimida Pesada (HCA) e 6 camadas de Atenção Latente Multi-head (MLA + DSA) com atenção esparsa. O modelo utiliza 512 especialistas roteados (top-10) mais 1 especialista compartilhado por camada MoE. Inovações como Atenção Gated de Baixa Classificação, Atenção de Cabeça Virtual (VHA), MoE Latente Multi-Router, ECHO, Conexões Hiper-Manifold Constrangidas (mHC) e Cabeça de Saída MultiMax contribuem para suas capacidades avançadas e eficiência. O tokenizer suporta aproximadamente 200.000 entradas e tokeniza números da direita para a esquerda em grupos de até três dígitos.
A implantação é suportada com SGLang e vLLM, permitindo o serviço em produção com comprimentos de contexto de até 1.048.576 tokens. O modelo está disponível sob o Acordo de Licença do Modelo ERNIE 5.5 Flash Base v1.0.
- CategoriaModelos de IA e LLMs
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de ERNIE-5.5-Flash-Base-BF16
280 bilhões de parâmetros totais
14 bilhões de parâmetros ativados por token
Pré-treinado em 33,5 trilhões de tokens
Contexto de treinamento de até 128.000 tokens
Fine-tuning e inferência suportam contexto de 1 milhão de tokens
Arquitetura esparsa Mixture-of-Experts (MoE) eficiente
MoE de atenção híbrida com 43 camadas
37 camadas de Atenção Comprimida Pesada (HCA)
6 camadas de Atenção Latente Multi-head (MLA + DSA)
512 especialistas roteados (top-10) mais 1 especialista compartilhado por camada MoE
Atenção Gated de Baixa Classificação e Atenção de Cabeça Virtual (VHA)
MoE Latente Multi-Router para seleção precisa de especialistas
ECHO para perda multi-horizonte e decodificação especulativa
Conexões Hiper-Manifold Constrangidas (mHC) para propagação de sinal
Cabeça de Saída MultiMax para distribuição de vocabulário aprimorada
Tokenizer BPE de aproximadamente 200.000 entradas
Suporte para SGLang e vLLM para serviço em produção
Primeiros passos com ERNIE-5.5-Flash-Base-BF16
Acesse a Página do Modelo: Navegue até a página do ERNIE-5.5-Flash-Base-BF16 no Hugging Face.
Explore os Arquivos: Revise os arquivos do modelo e a documentação disponível na página.
Baixe o Modelo: Baixe o ponto de verificação do modelo ERNIE-5.5-Flash-Base-BF16.
Instale o vLLM e o Plugin: Instale o vLLM e o plugin ERNIE 5.5 para implantação.
Inicie o Servidor: Use SGLang ou vLLM para iniciar o servidor do modelo.
Envie Solicitações: Envie solicitações para o endpoint de completions usando ferramentas como curl para inferência.
Casos de uso de ERNIE-5.5-Flash-Base-BF16
- Geração de Texto
- Adaptação de Domínio
- Ajuste de Instruções
- Pesquisa em Aprendizado por Reforço
- Compreensão de Código
- Compreensão de Long-Context
- Aplicações Multilíngues
- Tarefas de Raciocínio
- Aplicações Agentes









