Descrição
HRM-Text-1B é um modelo de linguagem sofisticado desenvolvido pela Sapient Intelligence, apresentando uma arquitetura de 1 bilhão de parâmetros. É construído sobre a arquitetura do Modelo de Raciocínio Hierárquico (HRM), que emprega um design recorrente de dupla escala temporal. Este design integra dois módulos Transformer, de alto e baixo nível, para processar embeddings de entrada ao longo de múltiplos ciclos, permitindo uma profundidade de computação ilimitada enquanto mantém uma contagem de parâmetros limitada.
Ler mais
O modelo é pré-treinado em um objetivo PrefixLM com tokens de prefixo de condição, tornando-o adequado para várias tarefas de PNL, como classificação, extração e saída estruturada. No entanto, é importante notar que o HRM-Text-1B é um ponto de verificação de modelo pré-alinhado e não está otimizado para tarefas de chat ou de seguimento de instruções. Usuários interessados em tais aplicações precisariam realizar um alinhamento adicional, como ajuste fino supervisionado (SFT) ou aprendizado por reforço (RL), em dados específicos da tarefa.
HRM-Text-1B suporta uma variedade de técnicas de prompting, incluindo condição direta com exemplos de poucos disparos para tarefas de PNL e condição composta para tarefas de raciocínio e matemática. A arquitetura do modelo inclui recursos como atenção controlada, codificação de posição RoPE e ativação SwiGLU, garantindo um desempenho robusto em diversas tarefas.
Embora o modelo seja predominantemente treinado em corpora de texto em inglês, ele mostrou potencial para adaptação em tarefas de codificação através de experimentos de terceiros. No entanto, os usuários devem estar cientes de suas limitações, incluindo potenciais preconceitos e imprecisões nas saídas. O HRM-Text-1B é de código aberto sob a Licença Apache 2.0, incentivando mais pesquisas e desenvolvimento.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de HRM-Text-1B
1 Bilhão de Parâmetros
Arquitetura do Modelo de Raciocínio Hierárquico
Design Recorrente de Dupla Escala Temporal
Pré-treinamento com Objetivo PrefixLM
Mecanismo de Atenção Controlada
Codificação de Posição RoPE
Ativação SwiGLU
Código Aberto sob Licença Apache 2.0
Primeiros passos com HRM-Text-1B
Acesse a página do modelo: Visite a página do modelo HRM-Text-1B no Hugging Face.
Autentique-se: Faça login na sua conta do Hugging Face.
Configure: Configure o modelo com a versão necessária dos transformers.
Envie prompts: Use técnicas de prompting apropriadas para suas tarefas.
Ajuste fino: Realize alinhamento adicional para aplicações específicas.
Casos de uso de HRM-Text-1B
- Classificação de PNL
- Extração de Dados
- Tarefas de Raciocínio
- QA de Curta Duração
- Geração Aberta
