説明
Dioramaは、シンプルなスケッチや単一の文をプレイ可能なペーパーディオラマの世界に変換する革新的なツールです。Meta AI Global Hackathonで開発されたこのアプリケーションは、MetaのMuseおよびSAMモデルを活用して、ユーザーの入力から直接没入型のインタラクティブな環境を作成します。プロセスは、クレヨンスケッチまたはテキストの説明から始まり、Dioramaはそれを解釈して詳細で多層的な世界を構築します。
続きを読む
コア機能は、入力を読み取り、世界のレイアウトを計画するMuse Sparkと、切り紙スタイルでそれを描くMuse Imageを含みます。SAM 3.1は、描画された画像を個々のペーパーカードに切り抜く重要な役割を果たし、深度マップを使用して各カードをそれぞれの距離に配置し、三次元感を生み出します。これにより、街灯、波、ボートなどの要素がシーン内で明確でインタラクティブなコンポーネントとして現れます。
生成された各世界は単なる静的な画像ではなく、ヒーローキャラクターが歩き、オブジェクトと相互作用し、環境と関わる動的なステージです。たとえば、街灯は光るペーパーランプになり、ジグザグの波は折りたたまれたペーパーの海に変わり、ボートは水面で揺れます。ロープ橋のような複雑な詳細さえも歩行可能にされ、滝は流れ、個々の魚は切り抜かれて泳ぎ、シーンに命を吹き込みます。このツールは、灯台のドアで待つ守衛から、広がる光のビームまで、すべての要素が最初のスケッチに描かれた通りにレンダリングされることを保証します。
Dioramaの作成プロセスは高度に自動化されており、Metaのモデルが創造的な側面を処理し、コードがすべての結果を測定し、チェックしてプレイ可能性を確保します。典型的な四つの場所の世界を構築するのに約17分かかり、約200回のMetaモデル呼び出しが関与します。このシステムは、世界とストーリーの設計にMuse Sparkを、地域の描画と再描画にMuse Imageを、要素の切り抜きにSAM 3.1を組み込んでいます。Muse Voice TranscribeやMuse Code（スタジオのエージェント）などの追加モデルは、音声入力やインタラクティブな世界編集に使用されます。
ユーザーは、コマンドラインツールまたはブラウザ内のスタジオアプリを使用して世界を構築できます。生成された世界は、コンピュータや電話のブラウザで直接プレイ可能で、インストールやサインアップは不要です。プレイヤーはクリックして移動し、オブジェクトと相互作用し、キャラクターと会話できます。Dioramaは、ユーザーが自分の作品を静的なウェブページとしてエクスポートできるようにし、GitHub Pagesやitch.ioなどのプラットフォームで共有可能にします。このプロジェクトは、2026年10月26日にMeta AI Global Hackathonで開始され、ローカルで実行され、AI駆動の創造性とインタラクティブなストーリーテリングのユニークな融合を提供します。
- カテゴリーAIゲーム開発ツール
- 料金モデル無料
- デプロイLocal CLI + Studio App
- プラットフォームWeb Browser (Computer, Phone)
Dioramaの主要機能
スケッチから世界生成: クレヨンスケッチや単一の文をプレイ可能なディオラマの世界に変換します。
ブラウザベースのプレイ可能性: 世界はコンピュータや電話のウェブブラウザで直接プレイ可能です。
インタラクティブな環境: キャラクターが歩き、オブジェクトと相互作用し、シーンと関わることを可能にします。
深度ベースのカード作成: SAM 3.1と深度マップを使用して、絵を多距離のペーパーカードに切り抜きます。
自動化された世界構築: MetaのMuse SparkとMuse Imageを活用して計画と描画を行います。
動的要素: 流れる水、泳ぐ魚、ロープ橋のような歩行可能な構造を含みます。
キャラクター統合: 3Dキャラクターモデルをスプライトとして世界に描画し統合します。
音と声: ElevenLabsとMusicGenを使用して、環境音、足音、音楽、キャラクターの声を追加します。
自動プレイ可能性検証: ボットが歩き、すべての場所を使用してプレイ可能であることを確認します。
スタジオアプリ: 世界を記述、構築、修正するためのブラウザベースのインターフェースを提供します。
コマンドラインツール: 世界を作成するためのローカルコマンドラインインターフェースを提供します。
静的ウェブページエクスポート: 世界を静的なウェブページとしてエクスポートし、簡単に共有およびホスティングできます。
リアルタイム編集: Muse Codeエージェントがスタジオ内で世界へのインタラクティブな変更を可能にします。
入力の柔軟性: 視覚的なスケッチとテキストのストーリー説明の両方を受け入れます。
批評と再描画システム: Muse Sparkが絵を批評し、フラグが立てられた領域のみをMuse Imageが再描画します。
Dioramaの使い方は？
Dioramaのセットアップ: 空のフォルダーを初期化し、`npx -y @gtanczyk/diorama setup`を実行して環境とAPIキーを設定します。
世界を説明する: スタジオアプリまたはコマンドラインを使用して、希望する世界のために単一の文を提供するか、スケッチをドロップします。
ディオラマを構築する: DioramaがMetaのAIモデルを活用して、場所ごとにあなたの世界を構築する様子を見守ります。
プレイして相互作用する: ブラウザで新しく構築された世界を歩き回り、クリックして移動し、オブジェクトと相互作用し、キャラクターと会話します。
エージェントで洗練する: スタジオのエージェントを使用して、インタラクティブに世界の要素を変更または修正します。
世界をエクスポートする: 完成した世界を静的なウェブページとしてエクスポートするには、`npx -y @gtanczyk/diorama export <world>`を使用して共有します。
Dioramaの使用例
- インタラクティブストーリーテリング
- ゲームプロトタイピング
- クリエイティブビジュアライゼーション
- 教育コンテンツの作成
- パーソナライズされたデジタルアート
- コンセプトアートの探索
- ウェブベースの体験
