Diorama

Le fonctionnement principal implique Muse Spark, qui lit l'entrée, planifie la disposition du monde, et Muse Image, qui le peint dans un style de papier découpé et de carton. SAM 3.1 joue un rôle crucial en découpant l'image peinte en cartes en papier individuelles, utilisant une carte de profondeur pour positionner chaque carte à sa propre distance, créant ainsi une impression de tridimensionnalité. Cela permet à des éléments comme des lampadaires, des vagues et des bateaux d'apparaître comme des composants distincts et interactifs dans la scène.

Chaque monde généré n'est pas simplement une image statique mais une scène dynamique où un personnage héros peut marcher, interagir avec des objets et s'engager avec l'environnement. Par exemple, les lampadaires deviennent des lampes en papier lumineuses, les vagues en zigzag se transforment en mers en papier plié, et les bateaux flottent sur l'eau. Même des détails complexes comme un pont en corde sont rendus praticables, les cascades coulent, et des poissons individuels sont des découpes qui nagent, donnant vie à la scène. L'outil garantit que chaque élément, du gardien attendant dans l'entrée d'un phare à un faisceau lumineux balayeur, est rendu tel qu'il a été dessiné dans le croquis initial.

Le processus de création de Diorama est hautement automatisé, les modèles de Meta gérant les aspects créatifs tandis que le code mesure et vérifie chaque résultat pour garantir la jouabilité. Un monde typique de quatre lieux prend environ 17 minutes à construire, impliquant environ 200 appels de modèles Meta. Le système intègre également Muse Spark pour concevoir le monde et l'histoire, Muse Image pour peindre et repeindre des régions, et SAM 3.1 pour découper des éléments comme des objets, des sols, des escaliers et de l'eau. Des modèles supplémentaires comme Muse Voice Transcribe et Muse Code (l'agent du Studio) sont utilisés pour l'entrée vocale et l'édition interactive du monde.

Les utilisateurs peuvent construire des mondes en utilisant un outil en ligne de commande ou une application Studio dans le navigateur. Les mondes générés sont jouables directement dans le navigateur sur des ordinateurs ou des téléphones, sans nécessiter d'installation ou d'inscription. Les joueurs peuvent cliquer pour marcher, interagir avec des objets et parler à des personnages. Diorama permet également aux utilisateurs d'exporter leurs créations en tant que pages web statiques, les rendant partageables sur des plateformes comme GitHub Pages ou itch.io. Le projet a été initié lors du Meta AI Global Hackathon le 26 octobre 2026 et fonctionne localement, offrant un mélange unique de créativité alimentée par l'IA et de narration interactive.