Deskripsi
Terinspirasi oleh kemajuan dalam pemodelan bahasa skala besar, Google DeepMind telah mengembangkan Gato, sebuah agen generalis tunggal yang dirancang untuk beroperasi melampaui batasan output berbasis teks. Gato berfungsi sebagai kebijakan generalis multimodal, multi-tugas, dan multi-embodiment. Jaringan saraf yang sama, dengan bobot yang identik, dapat melakukan berbagai aktivitas seperti bermain game Atari, menghasilkan keterangan untuk gambar, berpartisipasi dalam percakapan, dan memanipulasi objek dengan lengan robot sungguhan. Proses pengambilan keputusannya beradaptasi secara dinamis berdasarkan konteks yang diberikan, menentukan apakah akan menghasilkan teks, torsi sambungan, penekanan tombol, atau bentuk token lainnya.
Baca Selengkapnya
Selama fase pelatihannya, Gato memproses data dari berbagai tugas dan modalitas dengan menyerialisasikannya menjadi urutan token datar. Urutan ini kemudian dikelompokkan dan diproses oleh jaringan saraf transformer, yang serupa dengan yang digunakan dalam model bahasa besar. Kerugian pelatihan ditutupi untuk memastikan Gato berfokus pada prediksi target aksi dan teks. Saat menerapkan Gato, urutan awal dibentuk dengan mentokenisasi sebuah prompt, yang bisa berupa demonstrasi. Lingkungan kemudian memberikan observasi pertama, yang juga ditokenisasi dan ditambahkan ke urutan ini. Gato secara autoregresif mengambil sampel vektor aksi, satu token pada satu waktu. Setelah semua token yang membentuk vektor aksi diambil sampelnya, sesuai dengan spesifikasi aksi lingkungan, aksi tersebut didekode dan dikirim ke lingkungan. Lingkungan melangkah, menghasilkan observasi baru, dan proses berulang. Yang terpenting, model selalu memiliki akses ke semua observasi dan aksi sebelumnya dalam jendela konteksnya yang berjumlah 1024 token.
Gato dilatih pada kumpulan data ekstensif yang mencakup pengalaman agen dari lingkungan simulasi dan dunia nyata, bersama dengan berbagai dataset bahasa alami dan gambar. Kinerja model Gato yang telah dilatih sebelumnya, yang diukur dengan kemampuannya melampaui persentase skor ahli di berbagai tugas, dikategorikan berdasarkan domain. Visualisasi menunjukkan kemampuan Gato untuk melakukan pembuatan keterangan gambar, terlibat dalam dialog interaktif, dan mengendalikan lengan robot, di antara banyak tugas lainnya, semuanya dengan set bobot yang sama.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan Gato Generalist Agent
Kemampuan multimodal
Kinerja multi-tugas
Kontrol multi-embodiment
Arsitektur jaringan saraf transformer
Pengambilan sampel aksi autoregresif
Jendela konteks 1024 token
Dilatih pada dataset yang beragam
Agen kebijakan generalis
Memulai dengan Gato Generalist Agent
Akses model: Dapatkan akses ke agen generalis Gato.
Autentikasi: Siapkan kredensial otentikasi yang diperlukan.
Siapkan lingkungan: Konfigurasikan lingkungan target untuk interaksi.
Integrasi melalui API: Gunakan endpoint API yang disediakan untuk eksekusi tugas.
Berikan prompt: Masukkan prompt atau demonstrasi yang ditokenisasi.
Terima observasi: Proses observasi lingkungan.
Ambil sampel aksi: Ambil sampel token aksi secara autoregresif.
Dekode dan eksekusi: Dekode token yang diambil sampelnya menjadi aksi yang dapat dieksekusi.
Kasus Penggunaan Gato Generalist Agent
- Kontrol robotika
- Pembuatan keterangan gambar
- Dialog interaktif
- Bermain game
- Pemahaman multimodal
- Penelitian AI umum
