メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

DreamFusion

DreamFusionは、テキスト記述から3Dオブジェクトを生成するAIモデルです。事前学習済みの2D拡散モデルを活用し、3Dトレーニングデータを必要とせずに、Neural Radiance Fields(NeRF)のような再照明可能な3Dアセットを作成します。これにより、多様なテキストプロンプトに対して、高忠実度の外観、深度、法線を実現できます。

モデルを見る
共有
モデルを見る
共有

DreamFusionは、テキストから3Dへの合成において、大規模な3Dデータセットや特殊なアーキテクチャを必要とする既存の手法限界を克服した、重要な進歩を示しています。このAIモデルは、Imagenのような事前学習済みの2Dテキストから画像への拡散モデルを、3Dコンテンツ生成のための強力な事前情報として利用します。中核となる革新は、確率密度蒸留に基づいた新しい損失関数にあり、これにより2D拡散モデルがパラメトリック3D表現の最適化をガイドできるようになります。

続きを読む

その中心では、DreamFusionはDeepDreamライクな最適化プロセスを採用しています。3Dモデル、特にNeural Radiance Field(NeRF)を初期化し、勾配降下法を通じて反復的に洗練させます。目的は、様々な角度からのNeRFの2Dレンダリングから派生した損失関数を最小化することです。これらのレンダリングは、事前学習済みの2D拡散モデルを使用してテキストプロンプトに対して評価されます。このアプローチは、2Dモデルの数十億もの画像とテキストのペアに埋め込まれた知識を、一貫性のある3D表現に効果的に蒸留します。

生成された3Dモデルは非常に汎用性が高いです。あらゆる角度から表示できるため、包括的な検査や様々なビジュアルコンテキストへの統合が可能です。さらに、生成されたオブジェクトは再照明可能であり、任意の照明で外観を操作でき、既存の3D環境にシームレスに合成できます。この柔軟性により、DreamFusionはクリエイターや開発者にとって価値のあるツールとなります。

DreamFusionの方法論は、3Dトレーニングデータを必要とせず、基盤となる画像拡散モデルの変更も不要であり、事前学習済みモデルを事前情報として活用することの有効性を強調しています。生成されたNeRFは、高忠実度の外観、正確な深度情報、詳細な法線を示します。実用的なアプリケーションでは、これらのNeRFモデルは、マーチングキューブのようなアルゴリズムを使用して標準的なメッシュ形式にエクスポートでき、一般的な3Dレンダラーやモデリングソフトウェアとの統合を容易にします。このプロジェクトでは、生成されたオブジェクトをシーンに合成する例も示されており、数百もの生成されたアセットのギャラリーも提供されています。

  • カテゴリーAIモデルとLLM
  • デプロイクラウド
  • プラットフォームWeb

  • テキストプロンプトから3Dオブジェクトを生成

  • 事前学習済みの2D拡散モデルを事前情報として利用

  • Neural Radiance Fields(NeRF)を作成

  • 3Dトレーニングデータを必要としない

  • 画像拡散モデルの変更は不要

  • 再照明可能な3Dモデルを出力

  • 任意の照明をサポート

  • 3D環境への合成を可能にする

  • 高忠実度の外観、深度、法線を生成

  • マーチングキューブによるメッシュエクスポート機能

  • 生成のためのScore Distillation Sampling(SDS)

  • ジオメトリ改善のための正規化および最適化戦略を含む

  1. テキストプロンプトの入力:希望する3Dオブジェクトの説明的なキャプションを提供します。

  2. モデルの最適化:DreamFusionは、2D拡散モデルを事前情報として使用し、3D NeRFモデルを最適化します。

  3. レンダリングと評価:NeRFはランダムな角度からレンダリングされ、その2D画像はテキストプロンプトに対して評価されます。

  4. 反復的な洗練:勾配降下法がNeRFパラメータを調整して損失を最小化し、一貫性と外観を向上させます。

  5. メッシュエクスポート:最適化後、NeRFは他の3Dソフトウェアで使用するためにメッシュに変換できます。

  • 3Dアセット生成
  • プロトタイピング
  • コンテンツ作成
  • 研究開発
  • 仮想世界構築
  • 教育ツール

Google の製品

DreamFusion のレビュー

読み込み中...

DreamFusion に似た人気のAIツール

Stable-DreamFusion

AI GitHub リポジトリ

Stable-DreamFusionは、Stable Diffusionを活用して3Dコンテンツ生成を行うテキストから3DへのモデルDreamFusionのPyTorch実装です。テキストから3D、画像から3D、メッシュのエクスポートをサポートし、NeRFとDiffusion技術による柔軟性を提供します。このプロジェクトにより、ユーザーは様々な入力から3Dア…

3Dモデル生成ツール
ツールを見る

AI GitHub リポジトリ

Stable Diffusionを活用して3Dコンテンツ生成を行うテキストから3DへのモデルDreamFusionのPyTorch実装です。テキストから3D、画像から3D、メッシュのエクスポートをサポートし、NeRFとDiffusion技術による柔軟性を提供します。このプロジェクトにより、ユーザーは様々な入力から3Dア…Stable-DreamFusionは、Stable Diffusionを活用して3Dコンテンツ生成を行うテキストから3DへのモデルDreamFusionのPyTorch実装です。テキストから3D、画像から3D、メッシュのエクスポートをサポートし、NeRFとDiffusion技術による柔軟性を提供します。このプロジェクトにより、ユーザーは様々な入力から3Dア…

3Dモデル生成ツール
AI GitHub リポジトリ トップ250を見る

Magic3D Text-to-3D

AI モデル

Magic3Dは、高解像度のテキストから3Dコンテンツを生成するAIツールです。テキストプロンプトから詳細な3Dメッシュモデルを、粗いものから細かいものへと段階的に最適化する拡散戦略を用いて生成します。このツールは、プロンプトベースの編集や画像条件付けによる高度な制御とクリエイティブな応用を可能にし、優れた品質の3Dアセットを生成します。

3Dモデル生成ツール
ツールを見る

AI モデル

高解像度のテキストから3Dコンテンツを生成するAIツールです。テキストプロンプトから詳細な3Dメッシュモデルを、粗いものから細かいものへと段階的に最適化する拡散戦略を用いて生成します。このツールは、プロンプトベースの編集や画像条件付けによる高度な制御とクリエイティブな応用を可能にし、優れた品質の3Dアセットを生成します。Magic3Dは、高解像度のテキストから3Dコンテンツを生成するAIツールです。テキストプロンプトから詳細な3Dメッシュモデルを、粗いものから細かいものへと段階的に最適化する拡散戦略を用いて生成します。このツールは、プロンプトベースの編集や画像条件付けによる高度な制御とクリエイティブな応用を可能にし、優れた品質の3Dアセットを生成します。

3Dモデル生成ツール
AI モデル トップ5を見る

NeRF、またはニューラル・ラディアンス・フィールドは、連続的な体積シーン関数を最適化することで、複雑なシーンの新しいビューを合成します。入力ビューの疎なセットを使用してディープネットワークでシーンを表現し、密度と視点依存の放射輝度を出力します。この手法は、ニューラルレンダリングとビュー合成において最先端の結果を達成しています。

3Dモデル生成ツール
ツールを見る

NeRF、またはニューラル・ラディアンス・フィールドは、連続的な体積シーン関数を最適化することで、複雑なシーンの新しいビューを合成します。入力ビューの疎なセットを使用してディープネットワークでシーンを表現し、密度と視点依存の放射輝度を出力します。この手法は、ニューラルレンダリングとビュー合成において最先端の結果を達成しています。

3Dモデル生成ツール
AI モデル トップ5を見る

ImagenはGoogle Researchが開発したテキストから画像を生成する拡散モデルです。言語を深く理解し、フォトリアルな画像を生成します。Imagenは画像とテキストの整合性およびサンプルの忠実性に優れており、人間の評価で他のモデルを凌駕し、COCOなどのベンチマークで最先端のFIDスコアを達成しています。

AIモデルとLLM
ツールを見る

Google Researchが開発したテキストから画像を生成する拡散モデルです。言語を深く理解し、フォトリアルな画像を生成します。Imagenは画像とテキストの整合性およびサンプルの忠実性に優れており、人間の評価で他のモデルを凌駕し、COCOなどのベンチマークで最先端のFIDスコアを達成しています。ImagenはGoogle Researchが開発したテキストから画像を生成する拡散モデルです。言語を深く理解し、フォトリアルな画像を生成します。Imagenは画像とテキストの整合性およびサンプルの忠実性に優れており、人間の評価で他のモデルを凌駕し、COCOなどのベンチマークで最先端のFIDスコアを達成しています。

AIモデルとLLM
AI モデル トップ5を見る

GET3D

AI モデル

GET3Dは、2D画像コレクションから直接高品質な3Dテクスチャ付きメッシュを合成する生成AIモデルです。複雑なトポロジーと豊かな幾何学的ディテールを持つ多様な形状を生成し、標準的な3Dレンダリングエンジンで使用可能です。このモデルは2D画像に対する敵対的損失を用いて学習され、ジオメトリとテクスチャの分離を実現しています。

3Dモデル生成ツールゲーム・eスポーツ
ツールを見る

AI モデル

2D画像コレクションから直接高品質な3Dテクスチャ付きメッシュを合成する生成AIモデルです。複雑なトポロジーと豊かな幾何学的ディテールを持つ多様な形状を生成し、標準的な3Dレンダリングエンジンで使用可能です。このモデルは2D画像に対する敵対的損失を用いて学習され、ジオメトリとテクスチャの分離を実現しています。GET3Dは、2D画像コレクションから直接高品質な3Dテクスチャ付きメッシュを合成する生成AIモデルです。複雑なトポロジーと豊かな幾何学的ディテールを持つ多様な形状を生成し、標準的な3Dレンダリングエンジンで使用可能です。このモデルは2D画像に対する敵対的損失を用いて学習され、ジオメトリとテクスチャの分離を実現しています。

3Dモデル生成ツールゲーム・eスポーツ
AI モデル トップ5を見る

Partiは、高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。

AIモデルとLLM
ツールを見る

高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。Partiは、高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。

AIモデルとLLM
AI モデル トップ5を見る

DM-GAN

AI GitHub リポジトリ

DM-GANは、テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。DM-GANは、テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

Stable Diffusion v1-4は、テキストプロンプトからフォトリアルな画像を生成する潜在的なテキストから画像への拡散モデルです。これは研究目的で設計されており、ユーザーが生成モデルとそのアートやデザインへの応用を探求できるようにします。

AIモデルとLLM
ツールを見る

テキストプロンプトからフォトリアルな画像を生成する潜在的なテキストから画像への拡散モデルです。これは研究目的で設計されており、ユーザーが生成モデルとそのアートやデザインへの応用を探求できるようにします。Stable Diffusion v1-4は、テキストプロンプトからフォトリアルな画像を生成する潜在的なテキストから画像への拡散モデルです。これは研究目的で設計されており、ユーザーが生成モデルとそのアートやデザインへの応用を探求できるようにします。

注目AIモデルとLLM
AI モデル トップ5を見る
1 / 8