Beschreibung
Gopher ist ein Transformer-Sprachmodell mit 280 Milliarden Parametern von Google DeepMind, das größte in einer Familie von Modellen, die das Team trainiert hat und die von 44 Millionen bis 280 Milliarden Parametern reichen. Es wurde im Dezember 2021 zusammen mit zwei Begleitpapieren vorgestellt: eines über die ethischen und sozialen Risiken von Sprachmodellen und eines, das RETRO, eine retrieval-unterstützte Trainingsarchitektur, vorschlägt.
Weiterlesen
DeepMind hat die Modellfamilie trainiert, um zu untersuchen, wo eine zunehmende Skalierung die Leistung von Sprachmodellen verbessert und wo nicht. Gopher hat im Vergleich zu früheren Arbeiten signifikante Fortschritte in Richtung menschlicher Expertenleistung beim Massive Multitask Language Understanding (MMLU) Benchmark erzielt, und die Forschung zeigte Gewinne durch Skalierung bei Aufgaben wie Leseverständnis, Faktenüberprüfung und Identifizierung toxischer Sprache. Die Skalierung verbesserte jedoch die Leistung bei logischen Denk- und Alltagsaufgaben nicht signifikant.
Neben den Benchmark-Ergebnissen hat DeepMind Gopher durch direkte Interaktion untersucht. Wenn das Modell in einem Dialogformat aufgefordert wurde, konnte es manchmal Themen wie Zellbiologie mit überraschender Kohärenz und korrekter Zitierung diskutieren, obwohl es keine dialog-spezifische Feinabstimmung hatte. Die Forschung dokumentierte auch Fehlerarten, die über die Modellgrößen hinweg bestehen blieben: eine Tendenz zur Wiederholung, zur Reflexion stereotypischer Vorurteile und zur Aussage falscher Informationen mit unbegründeter Zuversicht.
Das Begleitpapier der Veröffentlichung erstellte eine Taxonomie der ethischen und sozialen Risiken von Sprachmodellen, die sechs thematische Bereiche und 21 Risiken im Detail abdeckte, und sollte als Grundlage für die Bewertung und Minderung dieser Probleme dienen. Das zweite Begleitpapier führte RETRO ein, das während der Generierung Textpassagen abfragt, die Trainingsenergiekosten senkt und es ermöglicht, Ausgaben auf Quellpassagen zurückzuführen, während es die Leistung eines viel größeren Standard-Transformers mit deutlich weniger Parametern erreicht.
Gopher richtet sich an KI-Forscher, die die Skalierung, Bewertung und Sicherheit von Sprachmodellen untersuchen. Es handelt sich um eine Forschungsfreigabe, die durch DeepMinds Blogbeitrag und Papiere dokumentiert ist, und nicht um ein Produkt mit einer öffentlichen API oder herunterladbaren Gewichten. DeepMind verwendete später die Kosten für das Training von Gopher als Referenzpunkt für die Entwicklung seines dateneffizienteren Nachfolgers Chinchilla.
- KategorieKI-Modelle & LLMs
- BereitstellungCloud
- PlattformenWeb
Gopher im Überblick
Transformer-Sprachmodell mit 280 Milliarden Parametern, Teil einer Familie von 44 Millionen bis 280 Milliarden Parametern
Verbesserte Leistung beim Massive Multitask Language Understanding (MMLU) Benchmark
Bewertet über Benchmarks, einschließlich Leseverständnis, Faktenüberprüfung und Identifizierung toxischer Sprache
Kann kohärente, zitierte Dialoge zu technischen Themen ohne dialog-spezifische Feinabstimmung führen
Dokumentierte Fehlerarten über Modellgrößen hinweg: Wiederholung, stereotypische Vorurteile und selbstbewusste Falschaussagen
Veröffentlicht mit einer Taxonomie der ethischen und sozialen Risiken in Sprachmodellen, die 21 Risiken in sechs Themen abdeckt
Begleitend zu RETRO, einer retrieval-unterstützten Architektur mit geringeren Trainingsenergiekosten
Erste Schritte mit Gopher
Lesen Sie den Veröffentlichungsbeitrag: Beginnen Sie mit DeepMinds Blogbeitrag, der Gopher und seine beiden Begleitpapiere vorstellt.
Überprüfen Sie die Benchmark-Ergebnisse: Prüfen Sie Gophers Ergebnisse bei MMLU, Leseverständnis und toxischen Sprachaufgaben im Vergleich zu kleineren Modellen der Familie.
Lesen Sie die Risikotaxonomie: Überprüfen Sie das Begleitpapier zu ethischen und sozialen Risiken, um dokumentierte Fehlerarten zu verstehen.
Vergleichen Sie mit RETRO: Lesen Sie über die retrieval-unterstützte Architektur, die zusammen mit Gopher veröffentlicht wurde.
Gopher's Anwendungsfälle
- Forschung zur Modellskalierung
- Bewertung von Risiken bei Sprachmodellen
- Retrieval-unterstütztes Modellieren
