Diorama

O funcionamento básico envolve o Muse Spark, que lê a entrada, planeja o layout do mundo, e o Muse Image, que o pinta em um estilo de papel cortado e papelão. O SAM 3.1 desempenha um papel crucial ao recortar a imagem pintada em cartões de papel individuais, usando um mapa de profundidade para posicionar cada cartão a uma distância própria, criando assim uma sensação de tridimensionalidade. Isso permite que elementos como postes de luz, ondas e barcos apareçam como componentes distintos e interativos dentro da cena.

Cada mundo gerado não é apenas uma imagem estática, mas um palco dinâmico onde um personagem herói pode caminhar, interagir com objetos e se envolver com o ambiente. Por exemplo, postes de luz se tornam lâmpadas de papel brilhantes, ondas em zigue-zague se transformam em mares de papel dobrado, e barcos balançam na água. Até detalhes intrincados como uma ponte de corda são tornados transitáveis, cachoeiras jorram, e peixes individuais são recortes que nadam, dando vida à cena. A ferramenta garante que cada elemento, desde o guardião esperando na porta de um farol até um feixe de luz varrendo, seja renderizado conforme desenhado no esboço inicial.

O processo de criação do Diorama é altamente automatizado, com os modelos da Meta lidando com os aspectos criativos enquanto o código mede e verifica cada resultado para garantir a jogabilidade. Um mundo típico de quatro lugares leva aproximadamente 17 minutos para ser construído, envolvendo cerca de 200 chamadas de modelo da Meta. O sistema também incorpora o Muse Spark para projetar o mundo e a história, o Muse Image para pintar e repintar regiões, e o SAM 3.1 para recortar elementos como coisas, pisos, escadas e água. Modelos adicionais como Muse Voice Transcribe e Muse Code (o agente do Studio) são usados para entrada de voz e edição interativa do mundo.

Os usuários podem construir mundos usando uma ferramenta de linha de comando ou um aplicativo Studio no navegador. Os mundos gerados são jogáveis diretamente no navegador em computadores ou telefones, não exigindo instalação ou cadastro. Os jogadores podem clicar para caminhar, interagir com objetos e conversar com personagens. O Diorama também permite que os usuários exportem suas criações como páginas da web estáticas, tornando-as compartilháveis em plataformas como GitHub Pages ou itch.io. O projeto foi iniciado durante o Meta AI Global Hackathon em 26 de outubro de 2026 e funciona localmente, oferecendo uma mistura única de criatividade impulsionada por IA e narrativa interativa.