Deskripsi
PaLM-E mewakili kemajuan signifikan dalam kecerdasan buatan dengan memperkenalkan model bahasa multimodal terwujud yang dirancang untuk menjembatani kesenjangan antara pemahaman bahasa abstrak dan interaksi fisik dunia nyata. Model bahasa besar tradisional unggul dalam tugas tekstual yang kompleks tetapi kesulitan dalam mendasarkan pengetahuan mereka pada data sensor kontinu dunia nyata, persyaratan penting untuk aplikasi seperti robotika. PaLM-E mengatasi tantangan ini dengan secara langsung memasukkan modalitas seperti input visual dan estimasi keadaan ke dalam pipeline pemrosesan model bahasa.
Baca Selengkapnya
Inovasi arsitektur inti PaLM-E terletak pada metodenya untuk menyuntikkan observasi terwujud yang kontinu ke dalam ruang penyematan bahasa dari model bahasa yang telah dilatih sebelumnya. Ini dicapai dengan mengkodekan data sensor ke dalam urutan vektor yang memiliki dimensi yang sama dengan penyematan token model bahasa. Hal ini memungkinkan model untuk memproses dan bernalar tentang input multimodal, termasuk teks, gambar, dan estimasi keadaan kontinu, secara terpadu. PaLM-E dibangun di atas arsitektur model bahasa besar hanya-dekoder, khususnya PaLM, dan memperluas kemampuannya untuk menangani tugas-tugas terwujud.
PaLM-E telah menunjukkan kinerja yang luar biasa di berbagai tugas penalaran terwujud. Evaluasi menunjukkan kemampuannya untuk melakukan perencanaan manipulasi robot sekuensial, tanya jawab visual, dan pembuatan keterangan. Satu model multimodal terwujud yang besar, PaLM-E, dapat mengatasi tantangan penalaran yang beragam di berbagai modalitas observasi dan berbagai perwujudan robot. Khususnya, ia menunjukkan transfer positif, yang berarti kinerjanya mendapat manfaat dari pelatihan bersama di seluruh dataset bahasa, visi, dan visual-bahasa skala internet yang luas. Varian terbesar, PaLM-E-562B, tidak hanya unggul dalam robotika tetapi juga berfungsi sebagai model bahasa-visi generalis, mencapai hasil mutakhir pada benchmark seperti OK-VQA, sambil mempertahankan kemampuan bahasanya yang generalis seiring dengan peningkatan skalanya.
Aplikasi praktis model ini diilustrasikan melalui contoh-contoh tugas robotik jangka panjang. PaLM-E dapat menafsirkan instruksi seperti "bawakan saya keripik beras dari laci" atau "bawakan saya bintang hijau," menggabungkan umpan balik visual dari kamera robot untuk mengeksekusi rencana multi-langkah. Ia juga dapat mengontrol robot untuk menyusun balok berdasarkan warna atau melakukan tugas mendorong, mengurutkan perintah langkah demi langkah ke kebijakan tingkat rendah. Selain itu, PaLM-E menunjukkan kemampuan generalisasi yang mengesankan, berhasil mengeksekusi tugas-tugas seperti "dorong balok merah ke cangkir kopi" atau "dorong balok hijau ke kura-kura," bahkan ketika objek atau skenario spesifik ini tidak termasuk dalam data pelatihannya secara langsung. Kemampuan beradaptasi ini menyoroti pemahaman dan kemampuan penalarannya yang kuat dalam situasi baru.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan PaLM-E
Model bahasa multimodal terwujud
Mengintegrasikan modalitas sensor visual dan keadaan kontinu
Mendasarkan bahasa pada persepsi dunia nyata
Memungkinkan perencanaan manipulasi robot
Mendukung tanya jawab visual
Mampu membuat keterangan gambar
Menunjukkan pembelajaran transfer positif di berbagai domain
Menangani berbagai perwujudan robot
Mencapai kinerja mutakhir pada OK-VQA
Mempertahankan kemampuan bahasa generalis
Memproses kalimat multimodal
Secara autoregresif menghasilkan penyelesaian tekstual
Memulai dengan PaLM-E
Akses model: Gunakan model PaLM-E untuk tugas AI terwujud.
Input data: Berikan kalimat multimodal termasuk pengkodean visual, estimasi keadaan, dan tekstual.
Latih model: Latih pengkodean secara end-to-end dengan model bahasa besar yang telah dilatih sebelumnya.
Eksekusi tugas: Terapkan untuk perencanaan manipulasi robot sekuensial.
Lakukan penalaran: Terapkan untuk tanya jawab visual dan pembuatan keterangan.
Evaluasi kinerja: Nilai kemampuan pada berbagai tugas penalaran terwujud.
Integrasikan dengan robotika: Gunakan untuk kontrol dan perencanaan robot dunia nyata.
Kasus Penggunaan PaLM-E
- Manipulasi Robot
- Tanya Jawab Visual
- Pembuatan Keterangan Gambar
- Penalaran Terwujud
- AI Generalis
- Perencanaan Robotika
- Pembelajaran Lintas Domain
