World Model Dijelaskan: Mengapa Lab AI Berlomba Mensimulasikan Dunia Nyata

World model adalah sistem AI yang memprediksi bagaimana sebuah lingkungan akan berubah, termasuk apa yang terjadi ketika ada sesuatu yang bertindak di dalamnya. Chatbot memprediksi kata berikutnya. Generator video memprediksi frame berikutnya dari sebuah klip. World model memprediksi kondisi (state) berikutnya dari sebuah tempat, sehingga manusia atau robot bisa bertindak di dalamnya dan melihat akibatnya.

Gagasan itu jadi sangat mahal tahun ini. AMD sepakat membeli World Labs, startup yang didirikan Fei-Fei Li pada 2024, lewat kesepakatan saham penuh senilai sekitar $8,2 miliar (AMD). AMI Labs milik Yann LeCun mengumpulkan $1,03 miliar sebelum merilis produk apa pun (TechCrunch). Google DeepMind, NVIDIA, Meta, dan Runway semuanya sudah merilis world model dalam bentuk tertentu.

Produknya jauh lebih kecil daripada uang yang mengalir. Saat ini Anda bisa membeli generator scene 3D, menyewa prototipe riset singkat lewat langganan Google, atau mengunduh model open source jika Anda membangun software untuk robot atau mobil swakemudi. Pendapat kami: penggunaan untuk scene 3D dan software robotika sudah nyata sekarang, sedangkan janji untuk mensimulasikan realitas sebagian besar masih sebatas demo reel. Berikut cara membedakan keduanya, lengkap dengan harga untuk semua yang bisa Anda coba.

World model memprediksi state berikutnya, bukan kata berikutnya

Definisi dari para lab hampir seragam. Google DeepMind menyebut world model memanfaatkan pemahamannya tentang lingkungan fisik untuk mensimulasikannya, sehingga agen bisa memprediksi bagaimana dunia berkembang dan bagaimana tindakannya sendiri memengaruhinya (Google DeepMind). Versi Runway lebih singkat: sistem yang membangun representasi internal dari sebuah lingkungan dan memakainya untuk mensimulasikan kejadian di masa depan di dalamnya.

Kata kuncinya adalah aksi. Tanyakan kepada model bahasa tentang bola yang menggelinding dari meja, dan ia menulis satu kalimat. Tanyakan kepada generator video, dan ia merender klip yang Anda tonton. World model menerima state saat ini ditambah sebuah input (melangkah maju, memutar kamera, capit robot menutup), lalu mengembalikan state berikutnya, dan mengulanginya pada input Anda selanjutnya.

Baca baris paling bawah sebagai inti gagasannya. Output diumpankan kembali sebagai input berikutnya, sehingga world model dinilai dari konsistensinya sepanjang waktu. Satu frame yang indah membuktikan sangat sedikit.

Konsepnya lebih tua daripada hype-nya. Pada 2018 David Ha dan Jürgen Schmidhuber menerbitkan World Models, di mana sebuah agen mempelajari model game yang terkompresi dan dilatih sepenuhnya di dalam "mimpi halusinasi" miliknya sendiri sebelum bertindak di lingkungan nyata. Yang berubah adalah skalanya. Model yang dilatih dengan video dalam jumlah sangat besar kini menghasilkan dunia yang tampak fotografis, dan itu menarik gagasan ini keluar dari makalah reinforcement learning menuju earnings call.

Tonggak-tonggak di bawah ini menunjukkan seberapa cepat semuanya bergerak setelah model video menjadi bagus.

Enam tahun memisahkan makalah "dream" itu dari dunia yang bisa dimainkan dan dipelajari dari rekaman internet. Hampir semua hal lainnya, dari model robot terbuka sampai produsen chip yang menulis cek $8,2 miliar, terjadi dalam rentang sekitar dua tahun.

Empat taruhan tentang cara membangunnya

Para lab tidak sepakat tentang apa yang seharusnya dihasilkan sebuah world model, dan perbedaan itu menjelaskan sebagian besar produknya. Taksonomi dari World Labs sendiri adalah cara paling jelas untuk memilahnya. Taksonomi itu membagi world model menjadi tiga jenis. Renderer menghasilkan "piksel yang ditujukan untuk mata manusia." Simulator menghasilkan "representasi dunia yang setia secara geometris, fisik, atau dinamis." Planner menghasilkan aksi (World Labs).

Peringatannya tentang renderer layak diingat setiap kali melihat video peluncuran: gedung-gedung dalam bidikan drone "mungkin tampak sempurna dari atas, tetapi coba berkendara menembus kota di bawahnya dan semuanya berantakan." Dengan sudut pandang itu, bidang ini terbagi menjadi empat kubu.

Dunia interaktif yang Anda kendalikan secara real time

Genie 3 dari Google DeepMind mengubah prompt teks menjadi dunia yang bisa Anda jelajahi pada 720p dan 20 sampai 24 frame per detik. Google menyebut dunianya tetap cukup konsisten selama beberapa menit dan mampu mengingat perubahan dari interaksi tertentu hingga satu menit (Google DeepMind). GWM Worlds 2 dari Runway, sebuah research preview, melakukan hal serupa dengan video dan audio dan terus menghasilkan selama Anda terus mengarahkannya. Taksonomi World Labs menggolongkan Genie 3 sebagai renderer, dan GWM Worlds 2 terdengar seperti sistem sejenis: Anda mendapat aliran piksel, bukan sesuatu yang bisa dibuka di tool lain.

Pembuat dunia 3D yang memberi Anda file

Marble, produk pertama World Labs, mengubah teks, foto, video, atau blok 3D kasar menjadi dunia persisten yang bisa Anda edit dan ekspor sebagai Gaussian splat atau mesh (World Labs docs). Dunianya tidak bereaksi terhadap Anda seperti dunia Genie. Sebagai gantinya, dunia itu ada sebagai file yang bisa dibuka oleh game engine dan tool desain. World Labs menyebut model barunya, Atlas, yang berada dalam akses awal bersama mitra terpilih, akan menggerakkan Marble versi mendatang.

Model physical AI untuk robot dan mobil

NVIDIA menyebutnya world foundation model. NVIDIA Cosmos 3 bernalar atas video, menghasilkan rekaman sintetis dari input teks, gambar, video, suara, dan aksi, serta bisa menjadi tulang punggung kebijakan kontrol robot. Bobot modelnya terbuka di bawah lisensi OpenMDW 1.1 (NVIDIA). Oasis 3 dari Decart lebih sempit: dunia mengemudi multi-kamera secara real time yang diakses tim mobil swakemudi lewat API.

Latent predictor yang melewati piksel

Lini V-JEPA dari Meta sama sekali tidak mencoba menggambar masa depan. V-JEPA 2 mengodekan video menjadi representasi ringkas dan memprediksi bagaimana representasi itu berubah, yang lebih murah daripada merender setiap piksel dan tetap cukup untuk merencanakan. Meta melaporkan tingkat keberhasilan 65% sampai 80% dalam mengambil dan menaruh objek asing di lingkungan baru, setelah dilatih dengan dataset robot terbuka DROID dan langsung diterapkan ke robot lab tanpa data apa pun yang dikumpulkan dari robot tersebut (Meta AI).

Inilah kubu yang sudah bertahun-tahun didukung LeCun. Ia kini telah meninggalkan Meta, dan AMI Labs dibangun di atas Joint Embedding Predictive Architecture yang ia usulkan pada 2022.

Kalau istilahnya mulai terasa menumpuk, berikut istilah yang sering dipakai dalam pitch mereka.

Action-conditioned adalah istilah yang perlu Anda tagih kepada vendor. Kalau sebuah produk tidak bisa menerima input Anda di tengah proses dan tidak memberi state 3D yang bisa dikerjakan, itu hanyalah generator video dengan label baru.

Generator video tampak seperti world model sampai Anda mendorongnya

OpenAI memposisikan riset Sora 2024-nya sebagai jalan menuju simulator dunia fisik serbaguna, sambil mengakui bahwa modelnya belum bisa menangani interaksi dasar seperti kaca pecah. Lewat Sora 2, OpenAI menunjuk kemajuan: ketika pemain basket gagal memasukkan bola, bola kini memantul dari papan pantul alih-alih berteleportasi ke ring. OpenAI juga menyebut modelnya "jauh dari sempurna" (OpenAI).

Lalu produknya hilang. OpenAI menyatakan pengalaman web dan aplikasi Sora dihentikan awal tahun ini, dan help center-nya menyebut API Sora akan ditutup di akhir 2026. Itu keputusan bisnis, tetapi juga pengingat yang berguna bahwa "simulator dunia" adalah bingkai riset yang ditempelkan pada aplikasi video konsumen.

Riset independen lebih blak-blakan. Benchmark Physics-IQ menguji Sora, Runway, Pika, Lumiere, Stable Video Diffusion, dan VideoPoet pada dinamika fluida, optik, mekanika benda padat, magnetisme, dan termodinamika. Temuannya: pemahaman fisik "sangat terbatas, dan tidak berkaitan dengan realisme visual" (arXiv). Studi terpisah melatih model video pada fisika simulasi sederhana dan menemukan bahwa model menyalin contoh pelatihan yang paling mirip alih-alih mempelajari aturannya, dengan kesimpulan bahwa scaling saja tidak akan menemukan hukum fisika.

Jadi anggaplah model video seperti Veo 3.1 dan Runway Gen-4.5 sebagai renderer yang sangat baik tetapi simulator yang lemah. Itu tidak masalah untuk iklan atau storyboard. Tapi taruhan yang buruk jika Anda berencana mengandalkan rekaman itu untuk mengajari robot apa yang terjadi di lantai basah. Kalau video yang Anda butuhkan, mulailah dari perbandingan stack video AI dan papan generator video AI kami.

Mengapa produsen chip dan investor rela membayar mahal

Kesepakatan AMD adalah tanda paling jelas ke mana arah semua ini. Perusahaan menilai transaksi saham penuh itu sekitar $8,2 miliar, memperkirakan selesai paling lambat akhir 2026 dengan syarat persetujuan regulator, dan akan menjadikan Fei-Fei Li executive vice president sekaligus chief scientist yang melapor kepada CEO Lisa Su (AMD). TechCrunch melaporkan bahwa AMD berharap "frontier workload" World Labs akan membentuk roadmap chip-nya, dan membingkai akuisisi ini sebagai cara bersaing dengan NVIDIA, yang sudah menawarkan world model terbuka lewat Cosmos (TechCrunch).

Uang ventura bergerak ke arah yang sama. Setiap putaran di bawah ini diumumkan tahun ini.

AMI Labs mengumpulkan $1,03 miliar pada valuasi pre-money $3,5 miliar, dengan NVIDIA, Samsung, Temasek, dan Toyota Ventures di antara para pendukungnya (TechCrunch). TechCrunch juga melaporkan bahwa World Labs mengumpulkan $1 miliar, $200 juta di antaranya dari Autodesk, beberapa bulan sebelum sepakat untuk dijual. Runway mengumpulkan $315 juta pada valuasi $5,3 miliar untuk melakukan pre-training world model berikutnya, dan Odyssey mengumpulkan $310 juta pada valuasi $1,45 miliar dengan keterlibatan Amazon dan AMD Ventures.

Ada empat motif yang terus muncul. Produsen chip menginginkan workload-nya: seorang direktur riset DeepMind mengatakan kepada TechCrunch bahwa selama sesi Project Genie "ada sebuah chip di suatu tempat yang hanya milik Anda" (TechCrunch).

Tim robotika butuh data pelatihan yang lambat dan berisiko dikumpulkan di dunia nyata. Konten 3D mahal jika dibuat manual. Dan sebagian lab berargumen bahwa bahasa saja tidak akan membawa AI ke dunia fisik. Luma mengatakannya dengan lugas saat mengumpulkan $900 juta tahun lalu: "Untuk mensimulasikan alam semesta, LLM dan teks saja tidak cukup." Perhatikan seberapa sering NVIDIA dan lengan ventura AMD muncul di tabel kepemilikan saham ini. Perusahaan yang menjual komputasi mendanai perusahaan yang akan menghabiskannya.

Yang benar-benar bisa Anda pakai hari ini

Singkirkan research preview dan waitlist, dan daftarnya jadi pendek. Inilah yang terbuka untuk publik, atau untuk developer mana pun yang punya kartu kredit, tahun ini.

Harga diambil dari halaman resmi vendor (harga Marble, paket Google AI). Dua hal mencolok. Marble adalah satu-satunya produk di sini yang bisa dibayar non-developer dan dibawa pulang dalam bentuk file. Dan Project Genie, demo yang paling memukau, sulit dibenarkan dari sisi harga kecuali Anda memang sudah berlangganan Ultra untuk keperluan lain. Google awalnya membukanya hanya untuk pelanggan AS di atas 18 tahun dan membatasi generasi hingga 60 detik, dan kini daftarnya mencakup lebih dari 140 negara.

Matriks di bawah membandingkan empat produk yang paling mungkin Anda coba, berdasarkan atribut yang bisa kami konfirmasi di halaman vendor.

Marble mendapat tanda sebagian untuk robotika karena World Labs menawarkan World API-nya kepada tim robotika, dengan koneksi ke simulator seperti NVIDIA Isaac, sementara aplikasi konsumennya tidak dibuat untuk pekerjaan itu.

Rencana satu minggu untuk mencoba world model

1. 1Buka paket gratis Marble dan buat dunia dari foto ruangan nyata. World Labs menyebut satu dunia penuh memakan sekitar lima menit dan draf sekitar 20 detik (World Labs docs).
2. 2Buat ruangan yang sama dari prompt teks. Jelajahi kedua versinya dan cari area yang buram atau meleleh, yang menunjukkan bagian di mana model hanya menebak.
3. 3Kalau Anda berlangganan Google AI Ultra, bangun ulang ruangan itu di Project Genie. Menjauhlah dari ambang pintu, lalu kembali, dan catat apa yang berubah.
4. 4Kalau Anda menulis kode, ambil checkpoint Cosmos 3 dari Hugging Face atau coba model hosted di katalog NVIDIA sebelum menyewa GPU.
5. 5Tuliskan satu tugas yang akan Anda serahkan ke world model beserta output yang dibutuhkan: video, splat, mesh, atau aksi. Formatnya lebih menentukan pilihan tool daripada demo mana pun.

Bingung mulai dari mana? Pohon keputusan ini mengarahkan Anda sesuai tujuan dalam dua pertanyaan atau kurang.

Sebagian besar jalur yang berujung pada manusia, bukan robot, berakhir di Marble. Itu cara termurah untuk mendapatkan dunia yang bisa Anda simpan.

Cara menilai demo world model

Peluncuran world model dipotong untuk video media sosial, dan klip pendek yang diedit membuat model apa pun tampak bagus. Beberapa pengecekan bisa menembus kemasan itu.

Mulai dari durasi. Halaman Genie 3 milik Google sendiri menyebut modelnya mendukung "beberapa menit interaksi berkelanjutan, bukan berjam-jam" (Google DeepMind). Pendahulunya, Genie 2, menampilkan contoh yang kebanyakan hanya berlangsung 10 sampai 20 detik. Klip 15 detik hampir tidak memberi tahu apa-apa, ke arah mana pun.

Lalu cari perjalanan pulang. Memori adalah bagian tersulit. Genie 3 mengingat perubahan sekitar satu menit, dan Runway mengakui memori jangka panjang GWM Worlds 2 belum sempurna. Kalau kamera tidak pernah kembali ke tempat yang sudah ditampilkan, tanyakan mengapa.

Periksa siapa yang mengemudi. Jalur sinematik yang mulus bisa direncanakan sebelumnya, sedangkan orang yang menekan tombol akan menyingkap lag. Uji coba langsung TechCrunch dengan Project Genie menemukan kontrol yang tidak responsif dan karakter yang kadang menembus dinding, meskipun dunia bergaya seperti claymation dan cat air tampak bagus (TechCrunch).

Terakhir, pisahkan tampilan dari fisika. Physics-IQ menemukan keduanya tidak berkaitan pada model video, jadi demo yang penuh pemandangan luas tanpa tabrakan adalah demo rendering. Gunakan penilai ini pada video peluncuran berikutnya yang Anda lihat.

Klip peluncuran yang diedit biasanya mendapat skor rendah di sini. Anggap itu marketing, dan jalankan uji coba langsung Anda sendiri sebelum merencanakan pekerjaan apa pun di sekitar model tersebut.

Batasan yang belum terpecahkan

Konsistensi adalah tembok pertama. Model-model ini menghasilkan setiap momen berdasarkan apa yang sudah mereka hasilkan, sehingga kesalahan kecil menumpuk. Tinjauan TechCrunch terhadap Oasis 3 dari Decart menemukan dunia mengemudinya kehilangan koherensi dalam sesi panjang, mobil menembus rintangan, dan memori scene memburuk saat kembali ke area yang pernah dilewati (TechCrunch).

Biaya adalah yang kedua. Oasis 3 dihargai $0,02 per detik, yang berarti $1,20 per menit dan $72 untuk satu jam mengemudi simulasi. Batas 60 detik Google pada Project Genie ada karena setiap sesi menyita perangkat keras khusus. Sebaliknya, level game yang sudah jadi hampir tidak menambah biaya setiap kali ada yang memainkannya.

Evaluasi adalah yang ketiga, dan yang paling jarang dibahas. Benchmark masih muda, dan beberapa berasal dari lab yang sama yang menerbitkan modelnya. Tes penalaran fisik Meta sendiri menunjukkan manusia mencetak 85% sampai 95%, dengan kesenjangan yang jelas terhadap model terbaik (Meta AI). NVIDIA mengklaim peringkat pertama di beberapa leaderboard world-generation untuk Cosmos 3. Perlakukan peringkat vendor sebagai peringkat vendor.

Perusahaannya pun tidak banyak bicara. TechCrunch melaporkan tahun ini bahwa startup world model menyimpan rencana produk mereka sendiri, dan CEO AMI Labs pernah mengatakan perusahaannya bukan jenis startup yang merilis produk dalam tiga bulan.

Siapa yang sebaiknya menunggu? Siapa pun yang butuh pipeline produksi andal untuk game, film, atau bangunan tahun ini. World model bagus untuk draf dan bahan referensi. Mereka belum menggantikan game engine atau simulator fisika yang sudah divalidasi tim Anda.

Apa yang berubah bagi kreator, developer game, arsitek, dan tim robotika

Kreator mendapat manfaat paling cepat. Dunia Marble bisa diekspor ke Unreal Engine, Unity, Blender, dan Houdini lewat plugin Gaussian splatting, dan Anda bisa merekam flythrough kamera sebagai video. Untuk previs dan virtual set, itu jalan pintas yang nyata. Perhatikan lisensinya: hak komersial dimulai dari paket Pro $35, sedangkan paket Standard $20 tidak menyertakannya (harga Marble). Untuk objek tunggal, bukan scene utuh, papan generator model 3D lebih cocok.

Developer game sebaiknya menganggap world model sebagai tool blocking dan konsep untuk saat ini. Mode Chisel di Marble mengubah bentuk 3D kasar menjadi dunia yang detail, cocok untuk tata letak level di tahap awal. Dunia yang dihasilkan tidak membawa logika gameplay, collision yang sudah di-tuning, atau budget performa, padahal itulah yang membuat game bisa dirilis. Papan tool AI untuk developer game melacak asisten yang menangani sisa pipeline.

Arsitek dan desainer interior berikutnya. Chief scientist Autodesk, Daron Green, mengatakan kepada TechCrunch bahwa ia bisa membayangkan pelanggan memulai dengan "sketsa berbasis world model di World Labs (misalnya tata letak kantor)" lalu menyempurnakannya di tool Autodesk. Untuk pekerjaan siap-klien hari ini, papan desain interior dan arsitektur AI serta ulasan tool desain interior kami mencakup opsi yang lebih matang.

Tim software robotika punya kasus paling kuat. Cosmos 3 dimaksudkan untuk di-post-train dengan data kamera dan robot Anda sendiri dan dijalankan sebagai simulator closed-loop. World Labs mengatakan sistem real-to-sim-to-real miliknya mengubah satu tugas nyata menjadi ribuan variasi simulasi dan menguji setiap checkpoint policy pada 2.000 percobaan simulasi, dengan skor simulasi yang sejalan dengan skor di perangkat keras. Manfaatnya ada di penyaringan: lebih sedikit checkpoint lemah yang pernah menyentuh robot fisik. World Labs juga menghubungkan World API-nya ke simulator termasuk Isaac Sim dan MuJoCo, jadi pilot tidak berarti mengganti simulator yang sudah dipercaya tim Anda.

Pertanyaan yang sering diajukan

Apakah ChatGPT itu world model?

Bukan dalam pengertian yang dimaksud para lab. ChatGPT memprediksi teks. Ia bisa menjelaskan apa yang terjadi ketika gelas jatuh dari meja, tetapi tidak menghasilkan state yang bisa Anda tindaklanjuti langkah demi langkah. Seluruh argumen LeCun untuk AMI Labs adalah bahwa model bahasa saja tidak akan sampai ke sana.

Bisakah saya mencoba world model secara gratis?

Bisa. Paket gratis Marble mencakup hingga empat generasi dunia, dan bobot NVIDIA Cosmos 3 serta V-JEPA 2 dari Meta gratis diunduh jika Anda punya GPU yang memadai. Project Genie membutuhkan paket Google AI Ultra berbayar.

Apakah world model akan menggantikan game engine?

Dalam waktu dekat tidak. Dunia generatif yang interaktif melenceng dalam hitungan menit, dan tak satu pun tool ini membawa aturan permainan, jadi jalur yang lebih mungkin adalah hibrida: hasilkan draf dunia, ekspor, lalu selesaikan di Unreal, Unity, atau Blender. Panduan ekspor World Labs sudah mengasumsikan alur kerja itu.

Apa yang terjadi pada Marble sekarang setelah AMD membeli World Labs?

Belum ada pernyataan dari kedua perusahaan. Kesepakatan ini masih butuh persetujuan regulator dan diperkirakan selesai paling lambat akhir 2026, dan World Labs menyebut Justin Johnson dan Ben Mildenhall akan tetap memimpin timnya di dalam AMD. Kalau pekerjaan klien Anda bergantung pada Marble, ekspor dunia Anda dan simpan salinan lokal.

Apakah Sora masih tersedia?

Tidak. OpenAI menyatakan produk Sora tidak lagi tersedia: pengalaman web dan aplikasinya dihentikan awal tahun ini, dan API dijadwalkan menyusul di akhir 2026. Untuk pembuatan video, panduan generator video AI terbaik kami membahas tool yang masih beredar di pasar.