Chinchilla

DeepMind trainierte Modelle unterschiedlicher Größen und Token-Anzahlen, um empirisch den optimalen Kompromiss zwischen Modellgröße und Trainingsdaten für ein festes Compute-Budget zu schätzen. Die Forschung ergab, dass ein Modell, das viermal kleiner ist und auf viermal mehr Daten trainiert wurde, besser abgeschnitten hätte, basierend auf dem Compute, das zum Trainieren von Gopher (280 Milliarden Parameter) verwendet wurde. Chinchilla, mit 70 Milliarden Parametern, die auf 1,3 Billionen Tokens trainiert wurden, testet dies direkt: Es verwendet dasselbe Trainings-Compute wie Gopher, hat jedoch deutlich weniger Parameter.

Die Ergebnisse zeigten, dass Chinchilla Gopher, GPT-3 und Megatron-Turing NLG in nahezu jedem gemessenen Benchmark übertraf, einschließlich TriviaQA für die Beantwortung von Fragen, HellaSwag, PIQA, Winogrande und BoolQ für gesundes Menschenverstand, LAMBADA für das Leseverständnis und MMLU für Allgemeinwissen, obwohl es 70 Milliarden Parameter im Vergleich zu Gophers 280 Milliarden hat. Da Chinchilla kleiner ist, ist es auch günstiger und schneller in der Ausführung zur Inferenzzeit als Gopher, obwohl beide Modelle die gleichen Kosten für das Training hatten. DeepMind stellte später fest, dass seine Skalierungsmethode ein optimales Modell von 140 Milliarden Parametern, das auf 3 Billionen Tokens trainiert wurde, für das Compute-Budget, das zum Trainieren von PaLM, einem 540-Milliarden-Parameter-Modell, verwendet wurde, vorhersagt, das nach Chinchilla veröffentlicht wurde.

Das Papier stellt dies als eine breitere Lektion für das Feld dar: Der vorherrschende Ansatz zu dieser Zeit war es, die Trainingsdaten ungefähr bei etwa 300 Milliarden Tokens fix zu halten, während die Parameteranzahl erhöht wurde, ein Trend, der in Modellen wie Gopher und dem 530-Milliarden-Parameter Megatron-Turing NLG sichtbar ist. DeepMinds Ergebnisse argumentieren, dass das Trainings-Compute stattdessen gleichmäßiger zwischen Modellgröße und Datenvolumen aufgeteilt werden sollte, da die Trainingskosten für Transformer von beiden Faktoren zusammen und nicht nur von der Parameteranzahl abhängen.

Chinchilla richtet sich an KI-Forscher und Praktiker, die große Sprachmodell-Trainingsläufe planen und die Modellgröße gegen das Volumen der Trainingsdaten für ein gegebenes Compute-Budget abwägen müssen, und nicht an Endbenutzer, die nach einem Chat-Produkt suchen. Es wird durch DeepMinds Veröffentlichungsbeitrag und Papier dokumentiert, anstatt als Produkt mit einer öffentlichen API oder herunterladbaren Gewichten angeboten zu werden, und sein Ansatz zur Datenskalierung hat seitdem beeinflusst, wie spätere große Sprachmodelle Größe und Trainingsdaten ausbalancieren.