Descrição
BLOOM, desenvolvido pela BigScience, é um modelo de linguagem grande autoregressivo (LLM) projetado para avançar e democratizar a inteligência artificial por meio de código aberto e ciência aberta. Lançado em 11 de julho de 2022, este modelo é capaz de gerar texto coerente em 46 idiomas naturais e 13 linguagens de programação, tornando-se uma ferramenta versátil para várias aplicações em processamento de linguagem natural.
A arquitetura do BLOOM é baseada em um modelo transformer, modificado a partir do Megatron-LM GPT2. Ele possui 176 bilhões de parâmetros, com 70 camadas e 112 cabeças de atenção, permitindo processar e gerar texto de forma eficaz. O modelo foi treinado em um conjunto de dados substancial de 1,6TB de texto pré-processado, que inclui 350 bilhões de tokens únicos. Esse extenso treinamento permite que o BLOOM realize tarefas de geração de texto, incluindo extração de informações, resposta a perguntas e sumarização, mesmo para tarefas para as quais não foi explicitamente treinado.
O BLOOM é destinado à pesquisa pública sobre modelos de linguagem grandes, tornando-o acessível para pesquisadores, educadores e desenvolvedores. Ele pode ser facilmente integrado em aplicações usando o ecossistema da Hugging Face, exigindo a instalação de transformers e accelerate. Os usuários pretendidos do modelo incluem o público em geral, pesquisadores, estudantes e engenheiros, entre outros. No entanto, é essencial notar que o modelo não deve ser usado em ambientes de alto risco ou para decisões críticas, pois pode produzir resultados que parecem factuais, mas podem estar incorretos.
O treinamento do BLOOM foi realizado no Supercomputador Público Jean Zay, utilizando 384 GPUs A100 de 80GB, e foi financiado pelo governo francês. O impacto ambiental do processo de treinamento é mitigado por meio do uso de energia nuclear, com o calor gerado sendo reutilizado para habitação no campus. No geral, o BLOOM representa um avanço significativo no campo da IA, fornecendo uma ferramenta poderosa para geração de linguagem e pesquisa.
Destaques de bigscience/bloom
Tipo de Modelo: Modelo de Linguagem baseado em Transformer
Parâmetros: 176B
Idiomas Suportados: 46 idiomas naturais, 13 linguagens de programação
Licença: Licença RAIL v1.0
Data de Lançamento: 11 de julho de 2022
Tamanho dos Dados de Treinamento: 1.6TB
Tokens de Treinamento: 350B tokens únicos
Infraestrutura de Computação: Supercomputador Público Jean Zay
Primeiros passos com bigscience/bloom
Acessar página: Visite o site da Hugging Face para o BLOOM.
Carregar modelo: Baixe o modelo BLOOM usando a biblioteca transformers da Hugging Face.
Configurar ambiente: Certifique-se de que transformers e accelerate estão instalados em seu ambiente.
Integrar: Use o modelo para tarefas de geração de texto conforme necessário.
Ajustar: Opcionalmente, ajuste o modelo para aplicações específicas.
Casos de uso de bigscience/bloom
- Geração de Texto
- Extração de Informações
- Resposta a Perguntas
- Sumarização
- Pesquisa em Linguagem
