Deskripsi
Gopher adalah model bahasa transformer dengan 280 miliar parameter dari Google DeepMind, yang merupakan yang terbesar dalam keluarga model yang dilatih tim ini, berkisar dari 44 juta hingga 280 miliar parameter. Model ini diperkenalkan pada Desember 2021 bersamaan dengan dua makalah pendamping: satu tentang risiko etis dan sosial dari model bahasa, dan satu yang mengusulkan RETRO, arsitektur pelatihan yang ditingkatkan dengan pengambilan.
Baca Selengkapnya
DeepMind melatih keluarga model ini untuk mempelajari di mana peningkatan skala membantu kinerja model bahasa dan di mana tidak. Gopher mengalami kemajuan signifikan menuju kinerja ahli manusia pada tolok ukur Massive Multitask Language Understanding (MMLU) dibandingkan dengan pekerjaan sebelumnya, dan penelitian menunjukkan keuntungan dari skala pada tugas-tugas seperti pemahaman bacaan, pemeriksaan fakta, dan identifikasi bahasa beracun. Namun, skala tidak secara signifikan meningkatkan kinerja pada penalaran logis dan tugas-tugas akal sehat.
Selain skor tolok ukur, DeepMind mengeksplorasi Gopher melalui interaksi langsung. Ketika dipicu dalam format dialog, model ini kadang-kadang dapat mendiskusikan topik seperti biologi sel dengan koherensi yang mengejutkan dan kutipan yang benar, meskipun tidak memiliki fine-tuning spesifik dialog. Penelitian ini juga mendokumentasikan mode kegagalan yang tetap ada di seluruh ukuran model: kecenderungan untuk mengulang dirinya sendiri, mencerminkan bias stereotip, dan menyatakan informasi yang salah dengan keyakinan yang tidak berdasar.
Makalah pendamping rilis ini membangun taksonomi risiko etis dan sosial dari model bahasa, mencakup enam area tematik dan 21 risiko secara mendalam, yang dimaksudkan sebagai dasar untuk menilai dan mengurangi masalah ini. Makalah pendamping kedua memperkenalkan RETRO, yang mengajukan potongan teks selama generasi, mengurangi biaya energi pelatihan dan memungkinkan keluaran dilacak kembali ke potongan sumber, sambil mencocokkan kinerja transformer standar yang jauh lebih besar dengan parameter yang jauh lebih sedikit.
Gopher ditujukan untuk peneliti AI yang mempelajari skala model bahasa, evaluasi, dan keamanan. Ini adalah rilis penelitian yang didokumentasikan melalui posting blog dan makalah DeepMind, bukan produk dengan API publik atau bobot yang dapat diunduh, dan DeepMind kemudian menggunakan biaya komputasi pelatihan Gopher sebagai titik referensi untuk mengembangkan penerusnya yang lebih efisien data, Chinchilla.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan Gopher
Model bahasa transformer dengan 280 miliar parameter, bagian dari keluarga dari 44 juta hingga 280 miliar parameter
Meningkatkan kinerja pada tolok ukur Massive Multitask Language Understanding (MMLU)
Dievaluasi di berbagai tolok ukur termasuk pemahaman bacaan, pemeriksaan fakta, dan identifikasi bahasa beracun
Dapat mempertahankan dialog yang koheren dan dikutip tentang topik teknis tanpa fine-tuning spesifik dialog
Mendokumentasikan mode kegagalan di seluruh ukuran model: pengulangan, bias stereotip, dan informasi salah yang dinyatakan dengan percaya diri
Dirilis dengan taksonomi risiko etis dan sosial dalam model bahasa, mencakup 21 risiko dalam enam tema
Pendamping untuk RETRO, arsitektur yang ditingkatkan dengan pengambilan dengan biaya energi pelatihan yang lebih rendah
Memulai dengan Gopher
Baca posting rilis: Mulailah dengan posting blog DeepMind yang memperkenalkan Gopher dan dua makalah pendampingnya.
Tinjau hasil tolok ukur: Periksa skor Gopher pada MMLU, pemahaman bacaan, dan tugas bahasa beracun dibandingkan dengan model-model lebih kecil dalam keluarga.
Baca taksonomi risiko: Tinjau makalah pendamping tentang risiko etis dan sosial untuk memahami mode kegagalan yang didokumentasikan.
Bandingkan dengan RETRO: Baca tentang arsitektur yang ditingkatkan dengan pengambilan yang dirilis bersamaan dengan Gopher.
Kasus Penggunaan Gopher
- Penelitian skala model
- Penilaian risiko model bahasa
- Pemodelan yang ditingkatkan dengan pengambilan
