Чинчила

DeepMind обучила модели различного размера и количества токенов, чтобы эмпирически оценить оптимальный компромисс между размером модели и объемом обучающих данных для фиксированного бюджета вычислений. Исследование показало, что для вычислительных ресурсов, использованных для обучения Gopher (280 миллиардов параметров), модель в 4 раза меньшего размера, обученная на 4 раза большем объеме данных, показала бы лучшие результаты. Чинчила, с 70 миллиардами параметров, обученная на 1,3 триллиона токенов, проверяет это напрямую: она использует те же вычислительные ресурсы, что и Gopher, но с гораздо меньшим количеством параметров.

Результаты показали, что Чинчила превосходит Gopher, GPT-3 и Megatron-Turing NLG по почти всем измеренным показателям, включая TriviaQA для ответов на вопросы, HellaSwag, PIQA, Winogrande и BoolQ для рассуждений на основе здравого смысла, LAMBADA для понимания прочитанного и MMLU для общей эрудиции, несмотря на то, что у нее 70 миллиардов параметров против 280 миллиардов у Gopher. Поскольку Чинчила меньше, она также дешевле и быстрее в работе во время вывода, чем Gopher, хотя обе модели стоили одинаково для обучения. Позже DeepMind отметила, что ее метод масштабирования предсказывает оптимальную модель из 140 миллиардов параметров, обученную на 3 триллионах токенов для бюджета вычислений, использованного для обучения PaLM, модели с 540 миллиардами параметров, выпущенной после Чинчила.

Статья формулирует это как более широкий урок для области: преобладающий подход в то время заключался в том, чтобы держать объем обучающих данных примерно фиксированным на уровне около 300 миллиардов токенов, увеличивая количество параметров, что видно в таких моделях, как Gopher и Megatron-Turing NLG с 530 миллиардами параметров. Результаты DeepMind утверждают, что вычислительные ресурсы следует распределять более равномерно между размером модели и объемом данных, поскольку стоимость обучения для трансформеров определяется обоими факторами вместе, а не только количеством параметров.

Чинчила ориентирована на исследователей и практиков ИИ, планирующих обучение больших языковых моделей, которым необходимо взвесить размер модели относительно объема обучающих данных для данного бюджета вычислений, а не на конечных пользователей, ищущих продукт для общения. Она документирована через пост о выпуске и статью DeepMind, а не предлагается как продукт с публичным API или загружаемыми весами, и ее подход к масштабированию данных с тех пор информировал о том, как позже большие языковые модели балансируют размер и объем обучающих данных.