Описание
Diorama — это инновационный инструмент, который преобразует простой эскиз или одно предложение в играбельный мир бумажной диорамы. Разработанный во время глобального хакатона Meta AI, это приложение использует модели Meta Muse и SAM для создания погружающих, интерактивных сред непосредственно из пользовательского ввода. Процесс начинается с эскиза мелками или текстового описания, которое Diorama интерпретирует для построения детализированного, многослойного мира.
Читать далее
Основная функциональность включает Muse Spark, который считывает ввод, планирует макет мира, и Muse Image, который рисует его в стиле вырезанной бумаги и картона. SAM 3.1 играет ключевую роль, вырезая нарисованное изображение на отдельные бумажные карточки, используя карту глубины для позиционирования каждой карточки на своем расстоянии, создавая тем самым ощущение трехмерности. Это позволяет элементам, таким как фонари, волны и лодки, появляться как отдельные интерактивные компоненты в сцене.
Каждый сгенерированный мир — это не просто статическое изображение, а динамическая сцена, где герой может ходить, взаимодействовать с объектами и взаимодействовать с окружением. Например, фонари становятся светящимися бумажными лампами, зигзагообразные волны превращаются в сложенные бумажные моря, а лодки покачиваются на воде. Даже сложные детали, такие как веревочный мост, становятся проходимыми, водопады льются, а отдельные рыбы вырезаны и плавают, оживляя сцену. Инструмент гарантирует, что каждый элемент, от смотрителя, ожидающего у двери маяка, до sweeping light beam, отображается так, как нарисовано в первоначальном эскизе.
Процесс создания Diorama высоко автоматизирован, модели Meta обрабатывают творческие аспекты, в то время как код измеряет и проверяет каждый результат, чтобы гарантировать играбельность. Типичный мир на четыре места занимает примерно 17 минут для сборки, включая около 200 вызовов модели Meta. Система также включает Muse Spark для проектирования мира и истории, Muse Image для рисования и перерисовки регионов, и SAM 3.1 для вырезания элементов, таких как вещи, полы, лестницы и вода. Дополнительные модели, такие как Muse Voice Transcribe и Muse Code (агент Студии), используются для голосового ввода и интерактивного редактирования мира.
Пользователи могут строить миры, используя инструмент командной строки или приложение Studio в браузере. Сгенерированные миры доступны для игры непосредственно в браузере на компьютерах или телефонах, не требуя установки или регистрации. Игроки могут щелкать, чтобы ходить, взаимодействовать с объектами и разговаривать с персонажами. Diorama также позволяет пользователям экспортировать свои творения в виде статических веб-страниц, что делает их доступными на платформах, таких как GitHub Pages или itch.io. Проект был инициирован во время глобального хакатона Meta AI 26 октября 2026 года и работает локально, предлагая уникальное сочетание креативности на основе ИИ и интерактивного повествования.
- КатегорияИИ-инструменты для разработки игр
- Модель ценообразованияБесплатно
- РазвёртываниеLocal CLI + Studio App
- ПлатформыWeb Browser (Computer, Phone)
Основные функции Diorama
Генерация из Эскиза в Мир: Преобразует эскизы мелками или одно предложение в играбельные миры диорамы.
Играбельность в Браузере: Миры доступны для игры непосредственно в веб-браузере на компьютерах и телефонах.
Интерактивные Среды: Позволяет персонажам ходить, взаимодействовать с объектами и взаимодействовать со сценой.
Создание Карточек на Основе Глубины: Использует SAM 3.1 и карты глубины для вырезания изображений на многослойные бумажные карточки.
Автоматизированное Создание Мира: Использует Muse Spark и Muse Image для планирования и рисования.
Динамические Элементы: Включает текущую воду, плавающих рыб и проходимые структуры, такие как веревочные мосты.
Интеграция Персонажей: Рисует и интегрирует 3D модели персонажей как спрайты в мир.
Звук и Голоса: Добавляет атмосферу, шаги, музыку и голоса персонажей с использованием ElevenLabs и MusicGen.
Автоматизированная Проверка Играбельности: Боты ходят и используют каждое место, чтобы убедиться, что оно играбельно.
Приложение Studio: Предоставляет интерфейс на основе браузера для описания, создания и исправления миров.
Инструмент Командной Строки: Предлагает локальный интерфейс командной строки для создания миров.
Экспорт Статических Веб-Страниц: Позволяет экспортировать миры в виде статических веб-страниц для легкого обмена и хостинга.
Редактирование в Реальном Времени: Агент Muse Code позволяет интерактивные изменения в мире внутри Студии.
Гибкость Ввода: Принимает как визуальные эскизы, так и текстовые описания историй.
Система Критики и Перерисовки: Muse Spark критикует картины, и только отмеченные области перерисовываются Muse Image.
Как использовать Diorama?
Настройка Diorama: Инициализируйте пустую папку и выполните `npx -y @gtanczyk/diorama setup`, чтобы настроить вашу среду и API ключи.
Опишите Ваш Мир: Используйте приложение Studio или командную строку, чтобы предоставить одно предложение или загрузить эскизы для вашего желаемого мира.
Создайте Диораму: Наблюдайте, как Diorama строит ваш мир место за местом, используя модели ИИ Meta.
Играйте и Взаимодействуйте: Пройдите через ваш вновь созданный мир в браузере, щелкая, чтобы двигаться, взаимодействовать с объектами и разговаривать с персонажами.
Уточните с Помощью Агента: Используйте агента Студии, чтобы вносить изменения или исправлять элементы в вашем мире интерактивно.
Экспортируйте Ваш Мир: Экспортируйте завершенный мир как статическую веб-страницу, используя `npx -y @gtanczyk/diorama export <world>` для обмена.
Варианты использования Diorama
- Интерактивное Повествование
- Прототипирование Игр
- Креативная Визуализация
- Создание Образовательного Контента
- Персонализированное Цифровое Искусство
- Исследование Концептуального Искусства
- Веб-Опыт
