Diorama

Die Kernfunktionalität umfasst Muse Spark, das die Eingabe liest, das Layout der Welt plant, und Muse Image, das sie im Stil von ausgeschnittenem Papier und Pappe malt. SAM 3.1 spielt eine entscheidende Rolle, indem es das gemalte Bild in einzelne Papierkarten schneidet, wobei eine Tiefenkarte verwendet wird, um jede Karte in ihrem eigenen Abstand zu positionieren, wodurch ein Gefühl von Dreidimensionalität entsteht. Dies ermöglicht es, dass Elemente wie Laternenpfähle, Wellen und Boote als distinct interaktive Komponenten innerhalb der Szene erscheinen.

Jede generierte Welt ist nicht nur ein statisches Bild, sondern eine dynamische Bühne, auf der ein Heldencharakter gehen, mit Objekten interagieren und mit der Umgebung in Kontakt treten kann. Beispielsweise werden Laternenpfähle zu leuchtenden Papierlampen, Zickzackwellen verwandeln sich in gefaltete Papiermeere, und Boote schaukeln auf dem Wasser. Selbst komplexe Details wie eine Seilbrücke sind begehbar, Wasserfälle fließen, und einzelne Fische sind ausgeschnittene Figuren, die schwimmen und die Szene zum Leben erwecken. Das Tool stellt sicher, dass jedes Element, vom Wärter, der in einer Tür des Leuchtturms wartet, bis zu einem schwenkenden Lichtstrahl, so dargestellt wird, wie es in der ursprünglichen Skizze gezeichnet wurde.

Der Erstellungsprozess von Diorama ist stark automatisiert, wobei die Modelle von Meta die kreativen Aspekte übernehmen, während der Code jede Ausgabe misst und überprüft, um die Spielbarkeit sicherzustellen. Eine typische Welt mit vier Plätzen benötigt etwa 17 Minuten zum Aufbau und umfasst rund 200 Aufrufe der Meta-Modelle. Das System integriert auch Muse Spark für die Gestaltung der Welt und der Geschichte, Muse Image für das Malen und Übermalen von Regionen sowie SAM 3.1 für das Ausschneiden von Elementen wie Dingen, Böden, Treppen und Wasser. Zusätzliche Modelle wie Muse Voice Transcribe und Muse Code (der Agent des Studios) werden für die Sprachsteuerung und die interaktive Bearbeitung der Welt verwendet.

Benutzer können Welten mit einem Befehlszeilentool oder einer Studio-App im Browser erstellen. Die generierten Welten sind direkt im Browser auf Computern oder Handys spielbar, ohne dass eine Installation oder Anmeldung erforderlich ist. Spieler können klicken, um zu gehen, mit Objekten zu interagieren und mit Charakteren zu sprechen. Diorama ermöglicht es den Nutzern auch, ihre Kreationen als statische Webseiten zu exportieren, die auf Plattformen wie GitHub Pages oder itch.io geteilt werden können. Das Projekt wurde während des Meta AI Global Hackathon am 26. Oktober 2026 initiiert und läuft lokal, wobei es eine einzigartige Mischung aus KI-gesteuerter Kreativität und interaktivem Geschichtenerzählen bietet.