描述
Diorama 是一个创新工具，可以将简单的草图或单句转化为可玩的纸质立体场景。该应用程序在 Meta AI 全球黑客马拉松期间开发，利用 Meta 的 Muse 和 SAM 模型直接从用户输入创建沉浸式互动环境。该过程始于蜡笔草图或文本描述，Diorama 随后对其进行解读，以构建一个详细的多层次世界。
阅读更多
核心功能包括 Muse Spark，它读取输入，规划世界的布局，以及 Muse Image，它以剪纸和纸板风格进行绘制。SAM 3.1 在此过程中发挥了关键作用，通过使用深度图将绘制的图像切割成单独的纸卡片，使每张卡片处于不同的距离，从而创造出三维感。这使得路灯、波浪和船只等元素在场景中作为独立的互动组件出现。
每个生成的世界不仅仅是静态图像，而是一个动态舞台，英雄角色可以在其中行走、与物体互动并与环境交流。例如，路灯变成发光的纸灯，锯齿波浪转变为折叠的纸海，船只在水面上摇摆。甚至像绳桥这样的复杂细节也可以行走，瀑布倾泻而下，单独的鱼则是游动的剪纸，赋予场景生命。该工具确保每个元素，从在灯塔门口等待的守护者到扫过的光束，都如最初草图中所绘制的那样呈现。
Diorama 的创建过程高度自动化，Meta 的模型处理创意方面，而代码则测量和检查每个结果以确保可玩性。一个典型的四个位置的世界大约需要 17 分钟构建，涉及约 200 次 Meta 模型调用。该系统还结合了 Muse Spark 用于设计世界和故事，Muse Image 用于绘制和重绘区域，以及 SAM 3.1 用于切割元素，如物体、地面、楼梯和水。其他模型如 Muse Voice Transcribe 和 Muse Code（工作室的代理）用于语音输入和互动世界编辑。
用户可以使用命令行工具或浏览器中的工作室应用程序构建世界。生成的世界可以直接在计算机或手机的浏览器中玩，无需安装或注册。玩家可以点击行走，与物体互动并与角色对话。Diorama 还允许用户将其创作导出为静态网页，使其可以在 GitHub Pages 或 itch.io 等平台上分享。该项目于 2026 年 10 月 26 日在 Meta AI 全球黑客马拉松期间启动，并在本地运行，提供了 AI 驱动的创造力与互动叙事的独特结合。
- 类别AI 游戏开发工具
- 定价模式免费
- 部署Local CLI + Studio App
- 平台Web Browser (Computer, Phone)
Diorama的核心功能
草图到世界生成：将蜡笔草图或单句转化为可玩的立体场景。
基于浏览器的可玩性：世界可以直接在计算机和手机的网页浏览器中玩。
互动环境：允许角色行走、与物体互动并参与场景。
基于深度的卡片创建：使用 SAM 3.1 和深度图将绘画切割成多距离纸卡片。
自动化世界构建：利用 Meta 的 Muse Spark 和 Muse Image 进行规划和绘制。
动态元素：包括流动的水、游动的鱼和可行走的结构，如绳桥。
角色集成：将 3D 角色模型作为精灵绘制并集成到世界中。
声音和声音效果：使用 ElevenLabs 和 MusicGen 添加环境音、脚步声、音乐和角色声音。
自动化可玩性验证：机器人行走并使用每个位置以确保其可玩性。
工作室应用程序：提供基于浏览器的界面，用于描述、构建和修复世界。
命令行工具：提供本地命令行界面以创建世界。
静态网页导出：允许将世界导出为静态网页，便于分享和托管。
实时编辑：Muse Code 代理允许在工作室内对世界进行互动更改。
输入灵活性：接受视觉草图和文本故事描述两种输入。
批评与重绘系统：Muse Spark 对绘画进行批评，只有被标记的区域由 Muse Image 重新绘制。
如何使用 Diorama？
设置 Diorama：初始化一个空文件夹并运行 `npx -y @gtanczyk/diorama setup` 来配置您的环境和 API 密钥。
描述您的世界：使用工作室应用程序或命令行提供单句或放入草图以创建您想要的世界。
构建立体场景：观看 Diorama 逐个位置构建您的世界，利用 Meta 的 AI 模型。
玩耍与互动：在浏览器中漫步于您新建的世界，点击移动、与物体互动并与角色对话。
使用代理进行优化：使用工作室的代理互动地更改或修复您世界中的元素。
导出您的世界：使用 `npx -y @gtanczyk/diorama export <world>` 将完成的世界导出为静态网页以便分享。
Diorama的使用案例
- 互动叙事
- 游戏原型设计
- 创意可视化
- 教育内容创作
- 个性化数字艺术
- 概念艺术探索
- 基于网络的体验
