Beschreibung
BLOOM, entwickelt von BigScience, ist ein autoregressives großes Sprachmodell (LLM), das darauf abzielt, künstliche Intelligenz durch Open Source und offene Wissenschaft voranzubringen und zu demokratisieren. Es wurde am 11. Juli 2022 veröffentlicht und ist in der Lage, kohärente Texte in 46 natürlichen Sprachen und 13 Programmiersprachen zu generieren, was es zu einem vielseitigen Werkzeug für verschiedene Anwendungen in der Verarbeitung natürlicher Sprache macht.
Die Architektur von BLOOM basiert auf einem Transformer-Modell, das von Megatron-LM GPT2 modifiziert wurde. Es verfügt über 176 Milliarden Parameter, 70 Schichten und 112 Aufmerksamkeitsköpfe, die es ihm ermöglichen, Texte effektiv zu verarbeiten und zu generieren. Das Modell wurde auf einem umfangreichen Datensatz von 1,6 TB vorverarbeitetem Text trainiert, der 350 Milliarden einzigartige Tokens umfasst. Dieses umfassende Training ermöglicht es BLOOM, Textgenerierungsaufgaben durchzuführen, einschließlich Informationsbeschaffung, Beantwortung von Fragen und Zusammenfassungen, selbst für Aufgaben, für die es nicht explizit trainiert wurde.
BLOOM ist für die öffentliche Forschung zu großen Sprachmodellen gedacht und macht es Forschern, Pädagogen und Entwicklern zugänglich. Es kann einfach in Anwendungen integriert werden, indem das Ökosystem von Hugging Face verwendet wird, was die Installation von Transformers und Accelerate erfordert. Die beabsichtigten Nutzer des Modells sind die breite Öffentlichkeit, Forscher, Studenten und Ingenieure, unter anderem. Es ist jedoch wichtig zu beachten, dass das Modell nicht in hochriskanten Umgebungen oder für kritische Entscheidungen verwendet werden sollte, da es Ausgaben erzeugen kann, die faktisch erscheinen, aber falsch sein können.
Das Training von BLOOM wurde auf dem Jean Zay Public Supercomputer durchgeführt, wobei 384 A100 80GB GPUs verwendet wurden, und wurde von der französischen Regierung finanziert. Die Umweltauswirkungen des Trainingsprozesses werden durch die Nutzung von Kernenergie gemildert, wobei die erzeugte Wärme für die Wohnheime auf dem Campus wiederverwendet wird. Insgesamt stellt BLOOM einen bedeutenden Fortschritt im Bereich der KI dar und bietet ein leistungsstarkes Werkzeug für die Sprachgenerierung und Forschung.
bigscience/bloom im Überblick
Modelltyp: Transformer-basiertes Sprachmodell
Parameter: 176B
Unterstützte Sprachen: 46 natürliche Sprachen, 13 Programmiersprachen
Lizenz: RAIL Lizenz v1.0
Veröffentlichungsdatum: 11. Juli 2022
Größe der Trainingsdaten: 1,6 TB
Trainings-Tokens: 350B einzigartige Tokens
Recheninfrastruktur: Jean Zay Public Supercomputer
Erste Schritte mit bigscience/bloom
Zugangsseite: Besuchen Sie die Hugging Face-Website für BLOOM.
Modell laden: Laden Sie das BLOOM-Modell mit der Transformers-Bibliothek von Hugging Face herunter.
Umgebung konfigurieren: Stellen Sie sicher, dass Transformers und Accelerate in Ihrer Umgebung installiert sind.
Integrieren: Verwenden Sie das Modell für Textgenerierungsaufgaben nach Bedarf.
Feinabstimmung: Optional das Modell für spezifische Anwendungen feinabstimmen.
bigscience/bloom's Anwendungsfälle
- Textgenerierung
- Informationsbeschaffung
- Fragenbeantwortung
- Zusammenfassung
- Sprachforschung
