Deskripsi
Octo mewakili inisiatif berkelanjutan untuk mengembangkan kebijakan generalis sumber terbuka yang berlaku luas untuk manipulasi robotik. Inti dari Octo adalah kebijakan difusi berbasis transformer, yang telah dilatih sebelumnya secara cermat pada 800.000 episode robot yang bersumber dari kumpulan data Open X-Embodiment yang komprehensif. Pelatihan awal yang ekstensif ini membekali Octo dengan fondasi yang kuat untuk memahami dan melaksanakan berbagai tugas robotik.
Baca Selengkapnya
Filosofi desain di balik Octo menekankan fleksibilitas dan skalabilitas. Ini direkayasa untuk mengakomodasi berbagai robot yang umum digunakan, konfigurasi sensor, dan ruang aksi. Arsitektur generik dan skalabel ini memungkinkan pelatihan pada kumpulan data masif, menghasilkan model yang sangat dapat beradaptasi. Octo mendukung beberapa modalitas input untuk spesifikasi tugas, termasuk instruksi bahasa alami dan gambar tujuan. Ini juga dapat memproses riwayat observasi dan menghasilkan distribusi aksi multi-modal melalui dekoding difusi.
Kekuatan utama Octo terletak pada dukungannya untuk penyetelan halus yang efisien. Kemampuan ini memungkinkan kebijakan untuk diadaptasi dengan cepat ke pengaturan robot baru, termasuk yang memiliki ruang aksi berbeda atau kombinasi kamera dan sensor proprioseptif yang bervariasi. Pilihan desain ini menjadikan Octo kebijakan robot generalis yang serbaguna dan berlaku luas, cocok untuk banyak aplikasi robotika hilir dan proyek penelitian.
Octo dilatih pada campuran beragam dari 25 kumpulan data dari Kumpulan Data Open X-Embodiment, yang mencakup berbagai macam perwujudan robot, adegan, dan tugas. Heterogenitas kumpulan data ini, dalam hal jenis robot, sensor (misalnya, dengan atau tanpa kamera pergelangan tangan), dan label (misalnya, dengan atau tanpa instruksi bahasa), berkontribusi pada kemampuan generalisasi Octo yang kuat.
Evaluasi Octo telah dilakukan di sembilan pengaturan robot dunia nyata di empat institusi yang berbeda. Evaluasi ini mencakup interaksi objek yang beragam, cakrawala tugas yang panjang, dan tugas manipulasi yang presisi. Octo menunjukkan kinerja luar biasa "langsung pakai" di lingkungan dari data pelatihan awalnya dan unggul dalam penyetelan halus yang efisien ke tugas dan lingkungan baru dengan kumpulan data domain target yang kecil. Ini juga menunjukkan kemampuan beradaptasi yang luar biasa terhadap observasi baru, seperti input gaya-torsi, dan ruang aksi baru, seperti kontrol posisi sambungan, menjadikannya alat yang ampuh untuk penelitian dan pengembangan robotika tingkat lanjut.
- KategoriRobotika & Perangkat Keras AI
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Octo Robot Policy
Arsitektur kebijakan difusi berbasis transformer
Dilatih sebelumnya pada 800.000 episode robot dari kumpulan data Open X-Embodiment
Mendukung instruksi bahasa alami untuk spesifikasi tugas
Mendukung pengkondisian gambar tujuan untuk spesifikasi tugas
Mengakomodasi riwayat observasi
Menghasilkan distribusi aksi multi-modal melalui dekoding difusi
Dirancang untuk penyetelan halus yang efisien ke ruang observasi dan aksi baru
Tersedia dalam dua versi: Octo-Small (27 juta parameter) dan Octo-Base (93 juta parameter)
Dievaluasi pada 9 pengaturan robot nyata di 4 institusi
Mengungguli RT-1-X dalam pengkondisian bahasa zero-shot
Kinerja sebanding dengan RT-2-X
Mencapai kinerja lebih tinggi dengan pengkondisian gambar tujuan pada tugas WidowX
Menunjukkan kinerja penyetelan halus yang unggul dibandingkan dengan pelatihan dari awal atau dengan bobot VC-1
Memulai dengan Octo Robot Policy
Akses Model: Dapatkan bobot dan kode model Octo dari repositori yang disediakan.
Siapkan Lingkungan: Konfigurasikan lingkungan simulasi atau perangkat keras robotika Anda.
Integrasikan Kebijakan: Muat model Octo dan definisikan ruang observasi dan aksi Anda.
Spesifikasi Tugas: Berikan instruksi tugas melalui bahasa alami atau gambar tujuan.
Kontrol Robot: Jalankan kebijakan untuk mengontrol aksi robot.
Setel Halus Model: Adaptasikan Octo ke tugas atau lingkungan baru menggunakan demonstrasi target.
Kasus Penggunaan Octo Robot Policy
- Manipulasi Robotik Umum
- Penyetelan Halus Khusus Tugas
- Instruksi Tugas Multi-Modal
- Platform Penelitian Robotika
- Adaptasi Konfigurasi Sensor
- Fleksibilitas Ruang Aksi
