설명
Diorama는 간단한 스케치나 한 문장을 플레이 가능한 종이 디오라마 세계로 변환하는 혁신적인 도구입니다. Meta AI 글로벌 해커톤 동안 개발된 이 애플리케이션은 Meta의 Muse 및 SAM 모델을 활용하여 사용자 입력으로부터 몰입감 있고 인터랙티브한 환경을 직접 생성합니다. 이 과정은 크레용 스케치나 텍스트 설명으로 시작되며, Diorama는 이를 해석하여 상세하고 다층적인 세계를 구성합니다.
더 읽기
핵심 기능은 Muse Spark로, 입력을 읽고 세계의 레이아웃을 계획하며, Muse Image는 이를 종이와 판지 스타일로 그립니다. SAM 3.1은 그려진 이미지를 개별 종이 카드로 잘라내는 중요한 역할을 하며, 깊이 맵을 사용하여 각 카드를 고유한 거리에서 배치하여 3차원감을 생성합니다. 이를 통해 가로등, 파도, 보트와 같은 요소가 장면 내에서 독립적이고 인터랙티브한 구성 요소로 나타납니다.
생성된 각 세계는 단순한 정적 이미지가 아니라 영웅 캐릭터가 걸어 다니고, 물체와 상호작용하며, 환경과 교류할 수 있는 동적인 무대입니다. 예를 들어, 가로등은 빛나는 종이 램프가 되고, 지그재그 파도는 접힌 종이 바다로 변하며, 보트는 물 위에서 흔들립니다. 심지어 로프 다리와 같은 복잡한 세부 사항도 걸을 수 있게 만들어지고, 폭포는 쏟아지며, 개별 물고기는 잘라낸 형태로 수영하여 장면을 생동감 있게 만듭니다. 이 도구는 등대 문 앞에서 기다리는 관리인부터 쓸어내리는 빛의 광선까지 모든 요소가 초기 스케치에 그려진 대로 렌더링되도록 보장합니다.
Diorama의 생성 과정은 매우 자동화되어 있으며, Meta의 모델이 창의적인 측면을 처리하는 동안 코드가 모든 결과를 측정하고 확인하여 플레이 가능성을 보장합니다. 일반적인 네 장소 세계는 약 17분이 소요되며, 약 200개의 Meta 모델 호출이 포함됩니다. 이 시스템은 또한 세계와 이야기를 설계하기 위해 Muse Spark를 통합하고, 지역을 그리거나 다시 그리기 위해 Muse Image를 사용하며, SAM 3.1을 통해 물체, 바닥, 계단 및 물과 같은 요소를 잘라냅니다. Muse Voice Transcribe 및 Muse Code(스튜디오의 에이전트)와 같은 추가 모델은 음성 입력 및 인터랙티브 세계 편집에 사용됩니다.
사용자는 명령줄 도구 또는 브라우저의 스튜디오 앱을 사용하여 세계를 구축할 수 있습니다. 생성된 세계는 컴퓨터나 휴대폰의 브라우저에서 직접 플레이할 수 있으며, 설치나 가입이 필요하지 않습니다. 플레이어는 클릭하여 이동하고, 물체와 상호작용하며, 캐릭터와 대화할 수 있습니다. Diorama는 또한 사용자가 자신의 창작물을 정적 웹 페이지로 내보내어 GitHub Pages나 itch.io와 같은 플랫폼에서 공유할 수 있도록 합니다. 이 프로젝트는 2026년 10월 26일 Meta AI 글로벌 해커톤 동안 시작되었으며, 로컬에서 실행되어 AI 기반의 창의성과 인터랙티브 스토리텔링의 독특한 조화를 제공합니다.
- 카테고리AI 게임 개발 도구
- 요금제무료
- 배포Local CLI + Studio App
- 플랫폼Web Browser (Computer, Phone)
Diorama의 핵심 기능
스케치-세계 생성: 크레용 스케치나 단일 문장을 플레이 가능한 디오라마 세계로 변환합니다.
브라우저 기반 플레이 가능성: 세계는 컴퓨터와 휴대폰의 웹 브라우저에서 직접 플레이할 수 있습니다.
인터랙티브 환경: 캐릭터가 걸어 다니고, 물체와 상호작용하며, 장면과 교류할 수 있습니다.
깊이 기반 카드 생성: SAM 3.1 및 깊이 맵을 사용하여 그림을 다중 거리 종이 카드로 잘라냅니다.
자동화된 세계 구축: Meta의 Muse Spark 및 Muse Image를 활용하여 계획 및 그림을 그립니다.
동적 요소: 흐르는 물, 수영하는 물고기, 로프 다리와 같은 걸을 수 있는 구조물을 포함합니다.
캐릭터 통합: 3D 캐릭터 모델을 스프라이트로 세계에 그려 통합합니다.
소리 및 음성: ElevenLabs 및 MusicGen을 사용하여 분위기, 발자국, 음악 및 캐릭터 음성을 추가합니다.
자동화된 플레이 가능성 검증: 봇이 모든 장소를 걸어 다니며 플레이 가능성을 확인합니다.
스튜디오 앱: 세계를 설명하고, 구축하고, 수정하기 위한 브라우저 기반 인터페이스를 제공합니다.
명령줄 도구: 세계 생성을 위한 로컬 명령줄 인터페이스를 제공합니다.
정적 웹 페이지 내보내기: 세계를 정적 웹 페이지로 내보내어 쉽게 공유하고 호스팅할 수 있습니다.
실시간 편집: Muse Code 에이전트가 스튜디오 내에서 세계에 대한 인터랙티브한 변경을 가능하게 합니다.
입력 유연성: 시각적 스케치와 텍스트 스토리 설명 모두를 수용합니다.
비판 및 재도장 시스템: Muse Spark가 그림을 비판하고, 플래그가 지정된 영역만 Muse Image가 재도장합니다.
Diorama 사용 방법은?
Diorama 설정: 빈 폴더를 초기화하고 `npx -y @gtanczyk/diorama setup`을 실행하여 환경 및 API 키를 구성합니다.
세계 설명: 스튜디오 앱이나 명령줄을 사용하여 원하는 세계에 대한 단일 문장을 제공하거나 스케치를 드롭합니다.
디오라마 구축: Diorama가 Meta의 AI 모델을 활용하여 세계를 장소별로 구축하는 과정을 지켜보세요.
플레이 및 상호작용: 브라우저에서 새로 구축된 세계를 걸어 다니며 클릭하여 이동하고, 물체와 상호작용하며, 캐릭터와 대화하세요.
에이전트를 통해 수정: 스튜디오의 에이전트를 사용하여 세계의 요소를 인터랙티브하게 변경하거나 수정합니다.
세계 내보내기: `npx -y @gtanczyk/diorama export <world>`를 사용하여 완성된 세계를 정적 웹 페이지로 내보내어 공유합니다.
Diorama의 사용 사례
- 인터랙티브 스토리텔링
- 게임 프로토타이핑
- 창의적 시각화
- 교육 콘텐츠 제작
- 개인화된 디지털 아트
- 컨셉 아트 탐색
- 웹 기반 경험
