Descripción
BLOOM, desarrollado por BigScience, es un modelo de lenguaje grande autoregresivo (LLM) diseñado para avanzar y democratizar la inteligencia artificial a través de código abierto y ciencia abierta. Lanzado el 11 de julio de 2022, este modelo es capaz de generar texto coherente en 46 idiomas naturales y 13 lenguajes de programación, lo que lo convierte en una herramienta versátil para diversas aplicaciones en procesamiento de lenguaje natural.
La arquitectura de BLOOM se basa en un modelo transformer, modificado a partir de Megatron-LM GPT2. Cuenta con 176 mil millones de parámetros, con 70 capas y 112 cabezales de atención, lo que le permite procesar y generar texto de manera efectiva. El modelo fue entrenado en un conjunto de datos sustancial de 1.6TB de texto preprocesado, que incluye 350 mil millones de tokens únicos. Este extenso entrenamiento permite a BLOOM realizar tareas de generación de texto, incluyendo extracción de información, respuesta a preguntas y resumir, incluso para tareas para las que no ha sido entrenado explícitamente.
BLOOM está destinado a la investigación pública sobre modelos de lenguaje grandes, haciéndolo accesible para investigadores, educadores y desarrolladores. Puede integrarse fácilmente en aplicaciones utilizando el ecosistema de Hugging Face, requiriendo la instalación de transformers y accelerate. Los usuarios previstos del modelo incluyen al público en general, investigadores, estudiantes e ingenieros, entre otros. Sin embargo, es esencial señalar que el modelo no debe utilizarse en entornos de alto riesgo o para la toma de decisiones críticas, ya que puede producir resultados que parecen factuales pero que pueden ser incorrectos.
El entrenamiento de BLOOM se llevó a cabo en la Supercomputadora Pública Jean Zay, utilizando 384 GPUs A100 de 80GB, y fue financiado por el gobierno francés. El impacto ambiental del proceso de entrenamiento se mitiga mediante el uso de energía nuclear, reutilizando el calor generado para la vivienda del campus. En general, BLOOM representa un avance significativo en el campo de la IA, proporcionando una herramienta poderosa para la generación de lenguaje y la investigación.
Aspectos destacados de bigscience/bloom
Tipo de Modelo: Modelo de Lenguaje basado en Transformer
Parámetros: 176B
Idiomas Soportados: 46 idiomas naturales, 13 lenguajes de programación
Licencia: RAIL License v1.0
Fecha de Lanzamiento: 11 de julio de 2022
Tamaño de Datos de Entrenamiento: 1.6TB
Tokens de Entrenamiento: 350B tokens únicos
Infraestructura de Cómputo: Supercomputadora Pública Jean Zay
Primeros pasos con bigscience/bloom
Acceder a la página: Visita el sitio web de Hugging Face para BLOOM.
Cargar modelo: Descarga el modelo BLOOM utilizando la biblioteca transformers de Hugging Face.
Configurar entorno: Asegúrate de que transformers y accelerate estén instalados en tu entorno.
Integrar: Utiliza el modelo para tareas de generación de texto según sea necesario.
Ajustar: Opcionalmente ajusta el modelo para aplicaciones específicas.
Casos de uso de bigscience/bloom
- Generación de Texto
- Extracción de Información
- Respuesta a Preguntas
- Resumen
- Investigación Lingüística
