Chinchilla

A DeepMind treinou modelos de tamanhos e contagens de tokens variados para estimar empiricamente a troca ideal entre o tamanho do modelo e os dados de treinamento para um orçamento de computação fixo. A pesquisa descobriu que, para a computação usada para treinar o Gopher (280 bilhões de parâmetros), um modelo 4 vezes menor treinado com 4 vezes mais dados teria um desempenho melhor. Chinchilla, com 70 bilhões de parâmetros treinados em 1,3 trilhões de tokens, testa isso diretamente: usa o mesmo poder computacional que o Gopher, mas com muito menos parâmetros.

Os resultados mostraram que Chinchilla superou o Gopher, GPT-3 e Megatron-Turing NLG em quase todos os benchmarks medidos, incluindo TriviaQA para perguntas e respostas, HellaSwag, PIQA, Winogrande e BoolQ para raciocínio de senso comum, LAMBADA para compreensão de leitura e MMLU para conhecimento geral, apesar de ter 70 bilhões de parâmetros contra os 280 bilhões do Gopher. Como Chinchilla é menor, também é mais barato e rápido de executar em tempo de inferência do que o Gopher, mesmo que ambos os modelos tenham o mesmo custo de treinamento. A DeepMind observou mais tarde que seu método de escalonamento prevê um modelo ideal de 140 bilhões de parâmetros treinado em 3 trilhões de tokens para o orçamento de computação usado para treinar o PaLM, um modelo de 540 bilhões de parâmetros lançado após Chinchilla.

O artigo enquadra isso como uma lição mais ampla para o campo: a abordagem predominante na época era manter os dados de treinamento aproximadamente fixos em cerca de 300 bilhões de tokens enquanto aumentava as contagens de parâmetros, uma tendência visível em modelos como Gopher e o Megatron-Turing NLG de 530 bilhões de parâmetros. Os resultados da DeepMind argumentam que o poder computacional de treinamento deve ser dividido de forma mais equilibrada entre o tamanho do modelo e o volume de dados, uma vez que o custo de treinamento para transformadores é impulsionado por ambos os fatores juntos, e não apenas pela contagem de parâmetros.

Chinchilla é voltado para pesquisadores e profissionais de IA que planejam execuções de treinamento de modelos de linguagem grandes e que precisam ponderar o tamanho do modelo em relação ao volume de dados de treinamento para um determinado orçamento de computação, em vez de usuários finais que buscam um produto de chat. Está documentado através do post de lançamento da DeepMind e do artigo, em vez de ser oferecido como um produto com uma API pública ou pesos para download, e sua abordagem de escalonamento de dados desde então informou como modelos de linguagem grandes posteriores equilibram tamanho em relação aos dados de treinamento.