Description
Gopher est un modèle de langage transformateur de 280 milliards de paramètres développé par Google DeepMind, le plus grand d'une famille de modèles que l'équipe a formés, allant de 44 millions à 280 milliards de paramètres. Il a été introduit en décembre 2021 avec deux articles complémentaires : l'un sur les risques éthiques et sociaux des modèles de langage, et l'autre proposant RETRO, une architecture d'entraînement améliorée par récupération.
Lire la suite
DeepMind a formé la famille de modèles pour étudier où l'augmentation de l'échelle aide la performance des modèles de langage et où elle ne le fait pas. Gopher a fait des avancées significatives vers la performance d'experts humains sur le benchmark Massive Multitask Language Understanding (MMLU) par rapport aux travaux antérieurs, et la recherche a montré des gains d'échelle sur des tâches telles que la compréhension de lecture, la vérification des faits et l'identification du langage toxique. Cependant, l'échelle n'a pas amélioré de manière significative la performance sur les tâches de raisonnement logique et de bon sens.
Au-delà des scores de benchmark, DeepMind a exploré Gopher à travers une interaction directe. Lorsqu'il était invité dans un format de dialogue, le modèle pouvait parfois discuter de sujets tels que la biologie cellulaire avec une cohérence surprenante et une citation correcte, malgré l'absence d'un ajustement spécifique au dialogue. La recherche a également documenté des modes de défaillance qui persistaient à travers les tailles de modèle : une tendance à se répéter, à refléter des biais stéréotypés et à énoncer des informations incorrectes avec une confiance injustifiée.
L'article complémentaire de la publication a construit une taxonomie des risques éthiques et sociaux des modèles de langage, couvrant six domaines thématiques et 21 risques en profondeur, destiné à servir de base pour évaluer et atténuer ces problèmes. Le deuxième article complémentaire a introduit RETRO, qui interroge des passages de texte pendant la génération, réduisant le coût énergétique de l'entraînement et permettant de retracer les sorties vers les passages sources, tout en égalant la performance d'un transformateur standard beaucoup plus grand avec beaucoup moins de paramètres.
Gopher s'adresse aux chercheurs en IA étudiant l'échelle des modèles de langage, l'évaluation et la sécurité. Il s'agit d'une publication de recherche documentée à travers le billet de blog de DeepMind et des articles plutôt que d'un produit avec une API publique ou des poids téléchargeables, et DeepMind a ensuite utilisé le coût de calcul de l'entraînement de Gopher comme point de référence pour développer son successeur plus efficace en données, Chinchilla.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesWeb
Points forts de Gopher
Modèle de langage transformateur de 280 milliards de paramètres, faisant partie d'une famille de 44 millions à 280 milliards de paramètres
Améliore la performance sur le benchmark Massive Multitask Language Understanding (MMLU)
Évalué à travers des benchmarks incluant la compréhension de lecture, la vérification des faits et l'identification du langage toxique
Peut soutenir un dialogue cohérent et cité sur des sujets techniques sans ajustement spécifique au dialogue
Modes de défaillance documentés à travers les tailles de modèle : répétition, biais stéréotypés et désinformation énoncée avec confiance
Publié avec une taxonomie des risques éthiques et sociaux dans les modèles de langage, couvrant 21 risques dans six thèmes
Compagnon de RETRO, une architecture améliorée par récupération avec un coût énergétique d'entraînement inférieur
Premiers pas avec Gopher
Lire le billet de publication : Commencez par le billet de blog de DeepMind présentant Gopher et ses deux articles complémentaires.
Examiner les résultats des benchmarks : Vérifiez les scores de Gopher sur MMLU, la compréhension de lecture et les tâches de langage toxique par rapport aux modèles plus petits de la famille.
Lire la taxonomie des risques : Consultez l'article complémentaire sur les risques éthiques et sociaux pour comprendre les modes de défaillance documentés.
Comparer avec RETRO : Lisez sur l'architecture améliorée par récupération publiée avec Gopher.
Cas d'utilisation de Gopher
- Recherche sur l'échelle des modèles
- Évaluation des risques des modèles de langage
- Modélisation augmentée par récupération
