Chinchilla

DeepMind entrenó modelos de diferentes tamaños y conteos de tokens para estimar empíricamente la compensación óptima entre el tamaño del modelo y los datos de entrenamiento para un presupuesto de cómputo fijo. La investigación encontró que, para el cómputo utilizado para entrenar Gopher (280 mil millones de parámetros), un modelo 4 veces más pequeño entrenado con 4 veces más datos habría tenido un mejor rendimiento. Chinchilla, con 70 mil millones de parámetros entrenados en 1.3 billones de tokens, prueba esto directamente: utiliza el mismo cómputo de entrenamiento que Gopher pero con muchos menos parámetros.

Los resultados mostraron que Chinchilla supera a Gopher, GPT-3 y Megatron-Turing NLG en casi todos los benchmarks medidos, incluyendo TriviaQA para respuesta a preguntas, HellaSwag, PIQA, Winogrande y BoolQ para razonamiento de sentido común, LAMBADA para comprensión lectora y MMLU para conocimiento general, a pesar de tener 70 mil millones de parámetros frente a los 280 mil millones de Gopher. Debido a que Chinchilla es más pequeño, también es más barato y rápido de ejecutar en tiempo de inferencia que Gopher, aunque ambos modelos costaron lo mismo para entrenar. DeepMind señaló más tarde que su método de escalado predice un modelo óptimo de 140 mil millones de parámetros entrenado en 3 billones de tokens para el presupuesto de cómputo utilizado para entrenar PaLM, un modelo de 540 mil millones de parámetros lanzado después de Chinchilla.

El artículo enmarca esto como una lección más amplia para el campo: el enfoque predominante en ese momento había sido mantener los datos de entrenamiento aproximadamente fijos en alrededor de 300 mil millones de tokens mientras se aumentaban los conteos de parámetros, una tendencia visible en modelos como Gopher y el Megatron-Turing NLG de 530 mil millones de parámetros. Los resultados de DeepMind argumentan que el cómputo de entrenamiento debería dividirse más equitativamente entre el tamaño del modelo y el volumen de datos, ya que el costo de entrenamiento para los transformadores está impulsado por ambos factores juntos, no solo por el conteo de parámetros.

Chinchilla está dirigido a investigadores y profesionales de IA que planean ejecuciones de entrenamiento de modelos de lenguaje grandes y que necesitan sopesar el tamaño del modelo frente al volumen de datos de entrenamiento para un presupuesto de cómputo dado, en lugar de a usuarios finales que buscan un producto de chat. Está documentado a través de la publicación de lanzamiento de DeepMind y el artículo, en lugar de ofrecerse como un producto con una API pública o pesos descargables, y su enfoque de escalado de datos ha informado desde entonces cómo los modelos de lenguaje grandes posteriores equilibran el tamaño con los datos de entrenamiento.