Flamingo

Antarmuka inovatif model ini menerima *prompt* yang terdiri dari gambar, video, dan teks yang saling terkait, lalu menghasilkan keluaran bahasa yang sesuai. Mekanisme masukan dan keluaran multimodal ini memungkinkan Flamingo untuk memahami dan merespons informasi visual dan tekstual yang kompleks secara bersamaan. Dengan menyediakan beberapa pasangan contoh masukan visual dan respons teks yang diinginkan dalam *prompt*-nya, pengguna dapat memandu Flamingo untuk menjawab pertanyaan tentang gambar atau video baru, secara efektif mengarahkan model untuk menyelesaikan tugas multimodal tertentu tanpa pelatihan lebih lanjut.

Flamingo mencapai kinerja *state-of-the-art* dalam pembelajaran *few-shot* di berbagai tugas multimodal yang terbuka. Pada 16 tugas tolok ukur, model ini mengungguli semua pendekatan pembelajaran *few-shot* sebelumnya ketika diberikan hanya empat contoh per tugas. Dalam beberapa kasus, kinerja Flamingo melampaui metode yang secara khusus di-*fine-tune* untuk setiap tugas dan menggunakan data yang jauh lebih banyak. Hal ini membuat pemodelan bahasa visual tingkat lanjut dapat diakses oleh non-ahli untuk aplikasi langsung pada tantangan baru.

Secara arsitektural, Flamingo menggabungkan model bahasa besar (*large language models*) yang telah dilatih sebelumnya dan dibekukan dengan representasi visual yang kuat. Komponen baru diintegrasikan di antara modul-modul ini, dan seluruh sistem dilatih pada kumpulan data multimodal yang besar dan beragam yang bersumber dari web, menghindari kebutuhan akan anotasi khusus pembelajaran mesin. Model ini dibangun di atas model bahasa Chinchilla 70B parameter dari Google, menghasilkan VLM 80B parameter. Setelah pelatihan awal, Flamingo dapat dengan mudah diadaptasi ke berbagai tugas visual melalui pembelajaran *few-shot* sederhana, menghilangkan kebutuhan akan *fine-tuning* spesifik tugas.

Di luar kinerja tolok ukurnya, Flamingo menunjukkan kemampuan kualitatif yang mengesankan, termasuk dialog multimodal langsung (*out-of-the-box*). Model ini telah diuji untuk pertimbangan etis, seperti membuat keterangan gambar yang berkaitan dengan gender dan warna kulit, serta mengevaluasi toksisitas teks yang dihasilkan menggunakan Perspective API Google. Meskipun hasil awal menjanjikan, DeepMind menekankan perlunya penelitian lebih lanjut mengenai risiko etis dari sistem multimodal sebelum penyebaran luas. Potensi aplikasi Flamingo sangat luas, mulai dari membantu individu tunanetra hingga meningkatkan identifikasi konten berbahaya secara daring, membuka jalan bagi interaksi AI yang lebih intuitif dan bermanfaat.