Chinchilla

DeepMind melatih model dengan ukuran dan jumlah token yang bervariasi untuk memperkirakan secara empiris trade-off optimal antara ukuran model dan data pelatihan untuk anggaran komputasi yang tetap. Penelitian menemukan bahwa, untuk komputasi yang digunakan untuk melatih Gopher (280 miliar parameter), model yang 4 kali lebih kecil yang dilatih pada 4 kali lebih banyak data akan berkinerja lebih baik. Chinchilla, dengan 70 miliar parameter yang dilatih pada 1,3 triliun token, menguji ini secara langsung: ia menggunakan komputasi pelatihan yang sama dengan Gopher tetapi dengan parameter yang jauh lebih sedikit.

Hasilnya menunjukkan Chinchilla mengungguli Gopher, GPT-3, dan Megatron-Turing NLG di hampir setiap tolok ukur yang diukur, termasuk TriviaQA untuk menjawab pertanyaan, HellaSwag, PIQA, Winogrande, dan BoolQ untuk penalaran akal sehat, LAMBADA untuk pemahaman bacaan, dan MMLU untuk pengetahuan umum, meskipun memiliki 70 miliar parameter dibandingkan dengan 280 miliar milik Gopher. Karena Chinchilla lebih kecil, ia juga lebih murah dan lebih cepat dijalankan pada waktu inferensi dibandingkan Gopher, meskipun kedua model memiliki biaya pelatihan yang sama. DeepMind kemudian mencatat bahwa metode skala mereka memprediksi model optimal dengan 140 miliar parameter yang dilatih pada 3 triliun token untuk anggaran komputasi yang digunakan untuk melatih PaLM, model dengan 540 miliar parameter yang dirilis setelah Chinchilla.

Makalah ini membingkai ini sebagai pelajaran yang lebih luas untuk bidang ini: pendekatan yang berlaku pada waktu itu adalah untuk menjaga data pelatihan tetap sekitar 300 miliar token sambil meningkatkan jumlah parameter, sebuah tren yang terlihat pada model seperti Gopher dan Megatron-Turing NLG dengan 530 miliar parameter. Hasil DeepMind berargumen bahwa komputasi pelatihan seharusnya dibagi lebih merata antara ukuran model dan volume data, karena biaya pelatihan untuk transformer dipengaruhi oleh kedua faktor tersebut bersama-sama, bukan hanya oleh jumlah parameter saja.

Chinchilla ditujukan untuk peneliti dan praktisi AI yang merencanakan pelatihan model bahasa besar yang perlu mempertimbangkan ukuran model terhadap volume data pelatihan untuk anggaran komputasi tertentu, bukan untuk pengguna akhir yang mencari produk obrolan. Ini didokumentasikan melalui pos rilis dan makalah DeepMind daripada ditawarkan sebagai produk dengan API publik atau bobot yang dapat diunduh, dan pendekatan skala datanya telah menginformasikan bagaimana model bahasa besar selanjutnya menyeimbangkan ukuran terhadap data pelatihan.