Diorama

El funcionamiento básico implica Muse Spark, que lee la entrada, planifica el diseño del mundo, y Muse Image, que lo pinta en un estilo de papel cortado y cartón. SAM 3.1 juega un papel crucial al cortar la imagen pintada en tarjetas de papel individuales, utilizando un mapa de profundidad para posicionar cada tarjeta a su propia distancia, creando así una sensación de tridimensionalidad. Esto permite que elementos como farolas, olas y barcos aparezcan como componentes interactivos distintos dentro de la escena.

Cada mundo generado no es simplemente una imagen estática, sino un escenario dinámico donde un personaje héroe puede caminar, interactuar con objetos y relacionarse con el entorno. Por ejemplo, las farolas se convierten en lámparas de papel brillantes, las olas en mares de papel doblado, y los barcos se mecen en el agua. Incluso detalles intrincados como un puente de cuerda son transitables, las cascadas fluyen, y los peces individuales son recortes que nadan, dando vida a la escena. La herramienta asegura que cada elemento, desde el guardián esperando en la puerta de un faro hasta un haz de luz barrido, se represente tal como se dibujó en el boceto inicial.

El proceso de creación de Diorama es altamente automatizado, con los modelos de Meta manejando los aspectos creativos mientras que el código mide y verifica cada resultado para asegurar la jugabilidad. Un mundo típico de cuatro lugares toma aproximadamente 17 minutos en construirse, involucrando alrededor de 200 llamadas a los modelos de Meta. El sistema también incorpora Muse Spark para diseñar el mundo y la historia, Muse Image para pintar y repintar regiones, y SAM 3.1 para recortar elementos como cosas, pisos, escaleras y agua. Modelos adicionales como Muse Voice Transcribe y Muse Code (el agente del Studio) se utilizan para la entrada de voz y la edición interactiva del mundo.

Los usuarios pueden construir mundos utilizando una herramienta de línea de comandos o una aplicación de Studio en el navegador. Los mundos generados son jugables directamente en el navegador en computadoras o teléfonos, sin necesidad de instalación o registro. Los jugadores pueden hacer clic para caminar, interactuar con objetos y hablar con personajes. Diorama también permite a los usuarios exportar sus creaciones como páginas web estáticas, haciéndolas compartibles en plataformas como GitHub Pages o itch.io. El proyecto se inició durante el Meta AI Global Hackathon el 26 de octubre de 2026, y se ejecuta localmente, ofreciendo una combinación única de creatividad impulsada por IA y narración interactiva.