Deskripsi
Diorama adalah alat inovatif yang mengubah sketsa sederhana atau satu kalimat menjadi dunia diorama kertas yang dapat dimainkan. Dikembangkan selama Meta AI Global Hackathon, aplikasi ini memanfaatkan model Muse dan SAM dari Meta untuk menciptakan lingkungan interaktif yang imersif langsung dari input pengguna. Proses dimulai dengan sketsa krayon atau deskripsi tekstual, yang kemudian Diorama interpretasikan untuk membangun dunia yang terperinci dan berlapis-lapis.
Baca Selengkapnya
Fungsi inti melibatkan Muse Spark, yang membaca input, merencanakan tata letak dunia, dan Muse Image, yang melukisnya dalam gaya kertas potong dan karton. SAM 3.1 memainkan peran penting dengan memotong gambar yang dilukis menjadi kartu kertas individu, menggunakan peta kedalaman untuk menempatkan setiap kartu pada jarak yang berbeda, sehingga menciptakan kesan tiga dimensi. Ini memungkinkan elemen seperti tiang lampu, gelombang, dan perahu muncul sebagai komponen interaktif yang berbeda dalam adegan.
Setiap dunia yang dihasilkan bukan hanya gambar statis tetapi panggung dinamis di mana karakter pahlawan dapat berjalan, berinteraksi dengan objek, dan terlibat dengan lingkungan. Misalnya, tiang lampu menjadi lampu kertas yang bersinar, gelombang zigzag berubah menjadi laut kertas yang terlipat, dan perahu melambung di atas air. Bahkan detail rumit seperti jembatan tali dibuat dapat dilalui, air terjun mengalir, dan ikan individu adalah potongan yang berenang, menghidupkan adegan tersebut. Alat ini memastikan bahwa setiap elemen, dari penjaga yang menunggu di pintu mercusuar hingga sinar cahaya yang menyapu, digambarkan seperti yang digambar dalam sketsa awal.
Proses pembuatan Diorama sangat otomatis, dengan model-model Meta menangani aspek kreatif sementara kode mengukur dan memeriksa setiap hasil untuk memastikan dapat dimainkan. Sebuah dunia dengan empat tempat biasanya memerlukan waktu sekitar 17 menit untuk dibangun, melibatkan sekitar 200 panggilan model Meta. Sistem ini juga mengintegrasikan Muse Spark untuk merancang dunia dan cerita, Muse Image untuk melukis dan mengecat ulang daerah, dan SAM 3.1 untuk memotong elemen seperti benda, lantai, tangga, dan air. Model tambahan seperti Muse Voice Transcribe dan Muse Code (agen Studio) digunakan untuk input suara dan pengeditan dunia interaktif.
Pengguna dapat membangun dunia menggunakan alat baris perintah atau aplikasi Studio di browser. Dunia yang dihasilkan dapat dimainkan langsung di browser di komputer atau ponsel, tanpa memerlukan instalasi atau pendaftaran. Pemain dapat mengklik untuk berjalan, berinteraksi dengan objek, dan berbicara dengan karakter. Diorama juga memungkinkan pengguna mengekspor kreasi mereka sebagai halaman web statis, menjadikannya dapat dibagikan di platform seperti GitHub Pages atau itch.io. Proyek ini dimulai selama Meta AI Global Hackathon pada 26 Oktober 2026, dan berjalan secara lokal, menawarkan perpaduan unik antara kreativitas yang didorong oleh AI dan penceritaan interaktif.
- KategoriAlat Pengembangan Game AI
- Model HargaGratis
- PenerapanLocal CLI + Studio App
- PlatformWeb Browser (Computer, Phone)
Fitur Inti Diorama
Generasi Sketsa ke Dunia: Mengubah sketsa krayon atau kalimat tunggal menjadi dunia diorama yang dapat dimainkan.
Playability Berbasis Browser: Dunia dapat dimainkan langsung di browser web di komputer dan ponsel.
Lingkungan Interaktif: Memungkinkan karakter untuk berjalan, berinteraksi dengan objek, dan terlibat dengan adegan.
Pembuatan Kartu Berbasis Kedalaman: Menggunakan SAM 3.1 dan peta kedalaman untuk memotong lukisan menjadi kartu kertas multi-jarak.
Pembangunan Dunia Otomatis: Memanfaatkan Muse Spark dan Muse Image dari Meta untuk perencanaan dan pelukisan.
Elemen Dinamis: Termasuk air yang mengalir, ikan yang berenang, dan struktur yang dapat dilalui seperti jembatan tali.
Integrasi Karakter: Melukis dan mengintegrasikan model karakter 3D sebagai sprite dalam dunia.
Suara dan Suara: Menambahkan suasana, langkah kaki, musik, dan suara karakter menggunakan ElevenLabs dan MusicGen.
Verifikasi Playability Otomatis: Bot berjalan dan menggunakan setiap tempat untuk memastikan dapat dimainkan.
Aplikasi Studio: Menyediakan antarmuka berbasis browser untuk mendeskripsikan, membangun, dan memperbaiki dunia.
Alat Baris Perintah: Menawarkan antarmuka baris perintah lokal untuk pembuatan dunia.
Ekspor Halaman Web Statis: Memungkinkan mengekspor dunia sebagai halaman web statis untuk berbagi dan hosting yang mudah.
Pengeditan Waktu Nyata: Agen Muse Code memungkinkan perubahan interaktif pada dunia dalam Studio.
Fleksibilitas Input: Menerima baik sketsa visual maupun deskripsi cerita tekstual.
Sistem Kritik dan Mengecat Ulang: Muse Spark mengkritik lukisan, dan hanya daerah yang ditandai yang dicat ulang oleh Muse Image.
Cara menggunakan Diorama?
Siapkan Diorama: Inisialisasi folder kosong dan jalankan `npx -y @gtanczyk/diorama setup` untuk mengonfigurasi lingkungan dan kunci API Anda.
Deskripsikan Dunia Anda: Gunakan aplikasi Studio atau baris perintah untuk memberikan satu kalimat atau masukkan sketsa untuk dunia yang Anda inginkan.
Bangun Diorama: Saksikan saat Diorama membangun dunia Anda tempat demi tempat, memanfaatkan model AI Meta.
Mainkan dan Interaksi: Jelajahi dunia baru Anda yang dibangun di browser, mengklik untuk bergerak, berinteraksi dengan objek, dan berbicara dengan karakter.
Perbaiki dengan Agen: Gunakan agen Studio untuk membuat perubahan atau memperbaiki elemen dalam dunia Anda secara interaktif.
Ekspor Dunia Anda: Ekspor dunia yang telah selesai sebagai halaman web statis menggunakan `npx -y @gtanczyk/diorama export <world>` untuk berbagi.
Kasus Penggunaan Diorama
- Penceritaan Interaktif
- Prototipe Game
- Visualisasi Kreatif
- Pembuatan Konten Edukasi
- Seni Digital Personalisasi
- Eksplorasi Seni Konsep
- Pengalaman Berbasis Web
