説明
GET3Dは、トロントAIラボとNVIDIAによって開発された革新的な生成モデルであり、2D画像データから直接高品質な3Dテクスチャ付き形状を生成するように設計されています。ゲーム、仮想現実、デジタルデザインなどの業界におけるスケーラブルな3Dコンテンツ作成ツールの需要の高まりに対応するため、GET3Dは標準的な3Dレンダリングエンジンと即座に互換性のあるテクスチャ付きメッシュを合成します。これにより、従来の3D生成モデルでよく見られるニューラルレンダラーの複雑さを回避し、出力を一般的な3Dソフトウェアで直接利用可能にします。
続きを読む
このモデルは、潜在コードから派生した3D符号付き距離関数（SDF）とテクスチャフィールドを生成することで動作します。微分可能なレンダラー、特にDMTetを使用して、SDFから3Dサーフェスメッシュを抽出します。その後、テクスチャフィールドをサーフェスポイントでクエリして色を割り当て、高忠実度のテクスチャを実現します。学習は、2つのディスクリミネーターを使用して、実際のRGB画像とシルエットを分類する、2D画像に対する敵対的損失を用いて行われます。このエンドツーエンドで学習可能なアプローチにより、GET3Dは膨大な2D画像データセットから学習することができます。
GET3Dは、自動車、椅子、動物、バイク、人間キャラクター、建物など、多様な3Dアセットを生成する顕著な能力を示しています。任意のトポロジー、詳細なジオメトリ、高忠実度のテクスチャを持つ形状の生成に優れており、以前の方法を大幅に上回っています。主な特徴は、ジオメトリとテクスチャの分離であり、形状と外観の独立した操作を可能にします。また、潜在空間における意味のある補間をサポートし、異なる形状とテクスチャ間のスムーズな遷移を可能にし、わずかな局所的変化を持つ新しい形状を生成できます。
さらに、GET3Dは、教師なしマテリアル生成のための他の技術と組み合わせることができ、テキストガイド付き形状生成にも適応できます。レンダリングされた2D画像とユーザー提供のテキストプロンプトに対するCLIP損失を使用して3Dジェネレーターをファインチューニングすることにより、GET3Dはテキスト記述に基づいた意味のある形状を生成できます。この汎用性により、効率的かつ高品質な3Dアセットを幅広く生成したいコンテンツクリエイターにとって強力なツールとなります。
- カテゴリー3Dモデル生成ツール
- デプロイクラウド
- プラットフォームWeb
GET3Dのハイライト
高品質な3Dテクスチャ付きメッシュを生成
3Dレンダリングエンジンで直接使用可能
任意のトポロジーを持つ形状を合成
豊かな幾何学的ディテールと高忠実度のテクスチャを生成
2D画像コレクションから学習
ジオメトリとテクスチャの分離を実現
意味のある潜在空間補間をサポート
バリエーションを持つ新しい形状の生成を可能にする
テキストガイド付き形状生成に適合可能
2D画像に対する敵対的損失を用いて学習
微分可能なレンダラー（DMTet）を使用
3D SDFとテクスチャフィールドを生成
GET3Dをはじめる
モデルへのアクセス: GET3Dモデルの重みとコードにアクセスします。
環境設定: 必要なソフトウェアとハードウェアの依存関係を設定します。
API経由での統合: 提供されたライブラリまたはAPIを使用してモデルと対話します。
3Dアセットの生成: 潜在コードまたはテキストプロンプトを入力して、3Dテクスチャ付きメッシュを合成します。
メッシュの抽出: DMTetを使用して、生成されたSDFからサーフェスメッシュを抽出します。
テクスチャの適用: テクスチャフィールドをクエリしてサーフェスポイントの色を取得します。
調整とエクスポート: 生成されたアセットをさらに処理またはエクスポートして、下流のアプリケーションで使用します。
GET3Dの使用例
- 3Dアセット生成
- 仮想世界コンテンツ
- ゲーム開発
- AR/VR体験
- デジタルデザイン
- テキストから3Dへの合成
- トポロジーバリエーション
