Chinchilla

DeepMind a entraîné des modèles de tailles et de nombres de tokens variés pour estimer empiriquement le compromis optimal entre la taille du modèle et les données d'entraînement pour un budget de calcul fixe. La recherche a révélé que, pour le calcul utilisé pour entraîner Gopher (280 milliards de paramètres), un modèle 4 fois plus petit entraîné sur 4 fois plus de données aurait mieux performé. Chinchilla, avec 70 milliards de paramètres entraînés sur 1,3 trillion de tokens, teste cela directement : il utilise le même budget de calcul que Gopher mais avec beaucoup moins de paramètres.

Les résultats ont montré que Chinchilla surpassait Gopher, GPT-3 et Megatron-Turing NLG sur presque tous les benchmarks mesurés, y compris TriviaQA pour la réponse aux questions, HellaSwag, PIQA, Winogrande et BoolQ pour le raisonnement de bon sens, LAMBADA pour la compréhension de lecture, et MMLU pour les connaissances générales, malgré ses 70 milliards de paramètres contre les 280 milliards de Gopher. Étant donné que Chinchilla est plus petit, il est également moins coûteux et plus rapide à exécuter au moment de l'inférence que Gopher, même si les deux modèles coûtent le même prix à entraîner. DeepMind a ensuite noté que sa méthode d'échelle prédit un modèle optimal de 140 milliards de paramètres entraîné sur 3 trillions de tokens pour le budget de calcul utilisé pour entraîner PaLM, un modèle de 540 milliards de paramètres publié après Chinchilla.

L'article présente cela comme une leçon plus large pour le domaine : l'approche prédominante à l'époque avait été de maintenir les données d'entraînement à peu près fixes autour de 300 milliards de tokens tout en augmentant le nombre de paramètres, une tendance visible dans des modèles comme Gopher et le Megatron-Turing NLG de 530 milliards de paramètres. Les résultats de DeepMind soutiennent que le budget de calcul d'entraînement devrait plutôt être réparti plus équitablement entre la taille du modèle et le volume de données, car le coût d'entraînement des transformateurs est déterminé par ces deux facteurs ensemble, et non par le nombre de paramètres seul.

Chinchilla s'adresse aux chercheurs et praticiens en IA prévoyant des sessions d'entraînement de grands modèles de langage qui doivent évaluer la taille du modèle par rapport au volume de données d'entraînement pour un budget de calcul donné, plutôt qu'aux utilisateurs finaux à la recherche d'un produit de chat. Il est documenté à travers le post de publication de DeepMind et l'article plutôt que proposé comme un produit avec une API publique ou des poids téléchargeables, et son approche d'échelle des données a depuis informé la manière dont les grands modèles de langage ultérieurs équilibrent la taille par rapport aux données d'entraînement.