Descrição
Este artigo de pesquisa do Google DeepMind aborda uma questão crítica no desenvolvimento de modelos de linguagem grandes (LLMs): "Qual é o tamanho ótimo do modelo e o número de tokens de treinamento para um determinado orçamento de computação?" A tendência predominante no desenvolvimento de LLMs tem sido aumentar as contagens de parâmetros do modelo, levando a ganhos de desempenho impressionantes em várias tarefas de PNL, exemplificados por modelos como Gopher (280 bilhões de parâmetros) e Megatron-Turing NLG (530 bilhões de parâmetros).
No entanto, o custo substancial associado ao treinamento desses modelos massivos exige uma estimativa cuidadosa da configuração de treinamento mais eficiente para evitar desperdício de recursos. O custo de computação de treinamento para modelos transformer é influenciado por dois fatores principais: tamanho do modelo (número de parâmetros) e a quantidade de tokens de treinamento. LLMs atuais priorizaram em grande parte o aumento da contagem de parâmetros, mantendo o tamanho dos dados de treinamento relativamente fixo, geralmente em torno de 300 bilhões de tokens.
Este estudo adota uma abordagem empírica, treinando modelos de tamanhos variados com diferentes números de tokens para investigar o equilíbrio ótimo entre esses dois fatores para um determinado orçamento computacional. A principal descoberta é que muitos modelos de linguagem grandes atuais são desproporcionalmente grandes para seu orçamento de computação e não são treinados com dados suficientes. A pesquisa sugere que, para a computação usada para treinar o Gopher, um modelo quatro vezes menor, mas treinado com quatro vezes mais dados, teria sido preferível.
Para validar essa hipótese, a DeepMind treinou o Chinchilla, um modelo de 70 bilhões de parâmetros treinado em 1,3 trilhão de tokens. Apesar de ter o mesmo custo de computação de treinamento do Gopher, o Chinchilla superou significativamente o Gopher e outros LLMs grandes em vários benchmarks, incluindo resposta a perguntas, raciocínio de senso comum, compreensão de leitura e conhecimento geral. Isso demonstra a eficácia de uma estratégia de escalonamento computacionalmente ótima.
O artigo também discute as implicações dessa descoberta à luz de lançamentos de modelos subsequentes como o PaLM (540 bilhões de parâmetros, 768 bilhões de tokens). Embora o PaLM, treinado com um orçamento de computação maior, tenha superado o Chinchilla, os métodos da pesquisa preveem que um modelo computacionalmente ótimo para o orçamento do PaLM seria um modelo de 140 bilhões de parâmetros treinado em 3 trilhões de tokens, oferecendo maior eficiência. Um benefício adicional significativo dessa abordagem computacionalmente ótima é a redução no tempo de inferência e nos custos de memória, tornando esses modelos poderosos mais acessíveis e práticos para implantação em hardware menos exigente.
Destaques de Treinamento de LLM Otimizado para Computação
Análise empírica da otimização computacional de treinamento de LLM
Investiga o trade-off entre tamanho do modelo e tokens de treinamento
Identifica estratégia de escalonamento computacionalmente ótima para LLMs
Demonstra ganhos de desempenho com modelos menores treinados com mais dados
Quantifica os benefícios de modelos computacionalmente ótimos para eficiência de inferência
Apresenta o Chinchilla, um modelo de 70B parâmetros computacionalmente ótimo
Compara o desempenho com Gopher, GPT-3 e Megatron-Turing NLG
Fornece previsões para configurações ótimas de modelo com base no orçamento de computação
Destaca a redução no tempo de inferência e nos custos de memória
Pesquisa publicada pelo Google DeepMind
Foca em modelos de linguagem baseados em transformer
Primeiros passos com Treinamento de LLM Otimizado para Computação
Entenda os resultados da pesquisa: Revise a análise empírica sobre treinamento de LLM computacionalmente ótimo.
Analise os trade-offs: Considere o equilíbrio entre o tamanho do modelo e os dados de treinamento para o seu orçamento de computação.
Aplique princípios de escalonamento: Implemente estratégias para treinar modelos menores com mais dados.
Avalie o desempenho: Compare modelos computacionalmente ótimos com contrapartes maiores e treinadas de forma menos eficiente.
Otimize a inferência: Utilize modelos menores e mais performáticos para reduzir custos e obter respostas mais rápidas.
Casos de uso de Treinamento de LLM Otimizado para Computação
- Otimização de Treinamento de LLM
- Alocação de Recursos
- Estratégia de Desenvolvimento de Modelos
- Redução de Custo de Inferência
- Pesquisa e Desenvolvimento
