Deskripsi
Invoker-Render adalah model AI video-ke-video yang canggih, dikembangkan oleh inclusionAI, yang memungkinkan generasi video yang sangat dapat dikendalikan. Dengan 33,12 miliar parameter, model ini fokus pada menghasilkan penampilan video berdasarkan proksi struktural, satu gambar referensi penampilan, dan prompt tekstual. Model ini beroperasi berdasarkan prinsip menjaga keadaan dunia dalam mesin hulu, di mana proksi visual menentukan elemen seperti jalur kamera, tata letak adegan, dan gerakan objek, sementara model video menangani rendering visual.
Baca Selengkapnya
Inti dari Invoker-Render terletak pada bobot DiT streaming kausalnya, yang dihosting di repositorinya. Model ini dirancang untuk bekerja bersama dengan kode inferensi CodeWorldModel yang menyertainya, memfasilitasi generasi streaming empat langkah kausal. Pengaturan ini dibangun di atas kerangka kerja yang kuat seperti MiniMax-H3, SGLang, dan SGLang-Omni, memastikan operasi yang efisien dan dapat diskalakan.
Sorotan utama dari Invoker-Render termasuk kemampuannya untuk streaming jangka panjang, yang memungkinkan sesi berjalan tanpa batas selama frame proksi disediakan. Ini dicapai melalui jangkar penampilan tetap dan jendela sejarah terbatas, menjaga konsistensi visual selama periode yang diperpanjang. Selain itu, model ini menawarkan kontrol multi-granular, menerima berbagai input struktural seperti peta semantik, kotak 3D jarang, topeng subjek, geometri yang diarsir, dan kotak dengan kerangka, memberikan pengguna kontrol yang tepat atas konten video yang dihasilkan.
Untuk penerapan interaktif, kode pendamping menyediakan layanan sesi WebSocket, klien file, dan klien browser, membuat model ini dapat diakses untuk berbagai aplikasi. Bobot model disimpan dalam format FP32 di seluruh 29 shard safetensors, dengan total sekitar 132,5 GB. Sementara repositori mencakup bobot DiT streaming kausal utama, pengguna perlu menyiapkan aset yang cocok seperti VAE, Qwen, dekoder kausal, dan tensor keheningan secara terpisah untuk inferensi. Profil produksi default untuk inferensi biasanya memerlukan delapan GPU NVIDIA pada satu node, memproses input seperti gambar pertama RGB 1344×768, video proksi 24 FPS, dan prompt teks.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan Invoker-Render
Model Video-ke-Video: Menghasilkan penampilan video dari proksi struktural dan input.
33 Miliar Parameter: Ukuran model besar untuk kemampuan generasi video yang canggih.
Rendering Berdasarkan Proksi: Menggunakan proksi visual untuk mengontrol jalur kamera, tata letak adegan, dan gerakan objek.
Input Gambar Referensi Penampilan: Mengambil satu gambar untuk membimbing gaya visual.
Input Prompt Teks: Menerima deskripsi tekstual untuk generasi konten.
Bobot DiT Streaming Kausal: Memanfaatkan bobot model tertentu untuk generasi streaming.
Streaming Jangka Panjang: Mendukung generasi video berkelanjutan saat frame proksi tiba.
Jangkar Penampilan Tetap: Mempertahankan penampilan yang konsisten selama sesi yang panjang.
Kontrol Multi-Granular: Menerima berbagai input struktural seperti peta semantik, kotak 3D, dan topeng subjek.
Penerapan Interaktif: Kode pendamping menawarkan klien WebSocket, file, dan browser.
Bobot FP32: Bobot model disimpan dalam presisi penuh.
Model Dasar MiniMax-H3: Dibangun di atas arsitektur MiniMax-H3.
Lisensi Apache-2.0: Mengatur penggunaan repositori.
Lisensi CC BY-NC 4.0: Berlaku untuk penggunaan non-komersial.
Memulai dengan Invoker-Render
Akses Bobot Model: Unduh bobot DiT streaming kausal utama dari root repositori.
Siapkan Aset: Dapatkan dan siapkan aset yang cocok seperti VAE, Qwen, dan dekoder kausal secara terpisah.
Siapkan Lingkungan: Ikuti README.md dan docs/INFERENCE.md di repositori CodeWorldModel yang menyertainya.
Siapkan Bundel: Buat bundel inferensi sesuai instruksi di repositori pendamping.
Mulai Layanan atau Jalankan Inferensi: Inisialisasi layanan sesi WebSocket atau jalankan inferensi file menggunakan invoker_render.py.
Berikan Input: Sediakan gambar pertama RGB 1344×768, video proksi 24 FPS, dan prompt teks.
Kasus Penggunaan Invoker-Render
- Generasi Video yang Dapat Dikendalikan
- Pembuatan Video Panjang
- Pengeditan Video Semantik
- Rendering Adegan 3D
- Aplikasi Video Interaktif




