描述
GET3D是多伦多AI实验室和NVIDIA开发的一款新颖的生成模型，旨在直接从2D图像数据生成高质量的3D纹理形状。为了满足游戏、虚拟现实和数字设计等行业对可扩展3D内容创建工具日益增长的需求，GET3D合成了可直接与标准3D渲染引擎兼容的纹理网格。这绕过了先前3D生成模型中常见的神经渲染器的复杂性，使得输出可以直接用于常见的3D软件。
阅读更多
该模型通过生成3D符号距离函数（SDF）和纹理场来工作，两者都源自潜在编码。使用可微分渲染器DMTet从SDF中提取3D表面网格。然后，在表面点上查询纹理场以分配颜色，从而获得高保真纹理。训练是通过在2D图像上定义的对抗性损失实现的，利用两个判别器来区分真实与伪造的RGB图像和轮廓。这种端到端可训练的方法使GET3D能够从大量的2D图像数据集中学习。
GET3D在生成多样化的3D资产方面展现出卓越的能力，包括汽车、椅子、动物、摩托车、人物角色和建筑物。它在生成具有任意拓扑结构、详细几何形状和高保真纹理的形状方面表现出色，显著优于先前的方法。一个关键特性是几何和纹理之间的解耦，允许独立地操纵形状和外观。该模型还支持在潜在空间中进行有意义的插值，从而实现不同形状和纹理之间的平滑过渡，并能生成具有细微局部变化的全新形状。
此外，GET3D还可以与其他技术结合用于无监督的材质生成，并可适应文本引导的形状生成。通过使用CLIP损失在渲染的2D图像和用户提供的文本提示上对3D生成器进行微调，GET3D可以根据文本描述生成有意义的形状。这种多功能性使其成为内容创作者寻求高效且高质量地生成各种3D资产的强大工具。
- 类别3D 模型生成器
- 部署云端
- 平台网页版
GET3D亮点
生成高质量的3D纹理网格
可直接用于3D渲染引擎
合成具有任意拓扑结构的形状
产生丰富的几何细节和高保真纹理
从2D图像集合中学习
实现几何和纹理之间的解耦
支持有意义的潜在空间插值
能够生成具有变化的全新形状
可适应文本引导的形状生成
使用2D图像上的对抗性损失进行训练
利用可微分渲染器（DMTet）
生成3D SDF和纹理场
GET3D入门
访问模型：获取GET3D模型权重和代码。
设置环境：配置必要软件和硬件依赖。
通过API集成：利用提供的库或API与模型进行交互。
生成3D资产：输入潜在编码或文本提示以合成3D纹理网格。
提取网格：使用DMTet从生成的SDF中提取表面网格。
应用纹理：查询纹理场以获取表面点颜色。
优化和导出：为下游应用进一步处理或导出生成的资产。
GET3D的使用案例
- 3D资产生成
- 虚拟世界内容
- 游戏开发
- AR/VR体验
- 数字设计
- 文本到3D合成
- 拓扑变化
