Description
BLOOM, développé par BigScience, est un modèle de langage autoregressif (LLM) conçu pour faire progresser et démocratiser l'intelligence artificielle grâce à l'open source et à la science ouverte. Publié le 11 juillet 2022, ce modèle est capable de générer un texte cohérent dans 46 langues naturelles et 13 langages de programmation, ce qui en fait un outil polyvalent pour diverses applications dans le traitement du langage naturel.
L'architecture de BLOOM est basée sur un modèle de transformateur, modifié à partir de Megatron-LM GPT2. Il dispose de 176 milliards de paramètres, avec 70 couches et 112 têtes d'attention, lui permettant de traiter et de générer du texte efficacement. Le modèle a été entraîné sur un ensemble de données substantiel de 1,6 To de texte prétraité, qui comprend 350 milliards de tokens uniques. Cet entraînement extensif permet à BLOOM d'effectuer des tâches de génération de texte, y compris l'extraction d'informations, la réponse à des questions et la synthèse, même pour des tâches pour lesquelles il n'a pas été explicitement formé.
BLOOM est destiné à la recherche publique sur les grands modèles de langage, le rendant accessible aux chercheurs, éducateurs et développeurs. Il peut être facilement intégré dans des applications utilisant l'écosystème de Hugging Face, nécessitant l'installation de transformers et accelerate. Les utilisateurs prévus du modèle incluent le grand public, les chercheurs, les étudiants et les ingénieurs, entre autres. Cependant, il est essentiel de noter que le modèle ne doit pas être utilisé dans des contextes à enjeux élevés ou pour des décisions critiques, car il peut produire des résultats qui semblent factuels mais qui peuvent être incorrects.
L'entraînement de BLOOM a été réalisé sur le supercalculateur public Jean Zay, utilisant 384 GPU A100 80 Go, et a été financé par le gouvernement français. L'impact environnemental du processus d'entraînement est atténué grâce à l'utilisation d'énergie nucléaire, avec la chaleur générée étant réutilisée pour le logement sur le campus. Dans l'ensemble, BLOOM représente une avancée significative dans le domaine de l'IA, fournissant un outil puissant pour la génération de langage et la recherche.
Points forts de bigscience/bloom
Type de modèle : Modèle de langage basé sur un transformateur
Paramètres : 176B
Langues prises en charge : 46 langues naturelles, 13 langages de programmation
Licence : RAIL License v1.0
Date de publication : 11 juillet 2022
Taille des données d'entraînement : 1,6 To
Tokens d'entraînement : 350B tokens uniques
Infrastructure de calcul : Supercalculateur public Jean Zay
Premiers pas avec bigscience/bloom
Accéder à la page : Visitez le site web de Hugging Face pour BLOOM.
Charger le modèle : Téléchargez le modèle BLOOM en utilisant la bibliothèque transformers de Hugging Face.
Configurer l'environnement : Assurez-vous que transformers et accelerate sont installés dans votre environnement.
Intégrer : Utilisez le modèle pour des tâches de génération de texte selon vos besoins.
Affiner : Affinez éventuellement le modèle pour des applications spécifiques.
Cas d'utilisation de bigscience/bloom
- Génération de texte
- Extraction d'informations
- Réponse à des questions
- Synthèse
- Recherche linguistique
