Descripción
GET3D es un novedoso modelo generativo desarrollado por Toronto AI Lab y NVIDIA, diseñado para producir formas texturizadas 3D de alta calidad directamente a partir de datos de imágenes 2D. Abordando la creciente demanda de herramientas escalables de creación de contenido 3D en industrias como los videojuegos, la realidad virtual y el diseño digital, GET3D sintetiza mallas texturizadas que son inmediatamente compatibles con los motores de renderizado 3D estándar. Esto evita las complejidades de los renderizadores neuronales que a menudo se encuentran en modelos generativos 3D anteriores, haciendo que la salida sea directamente utilizable en software 3D común.
Leer más
El modelo opera generando una Función de Distancia Signada (SDF) 3D y un campo de textura, ambos derivados de códigos latentes. Se emplea un renderizador diferenciable, específicamente DMTet, para extraer una malla de superficie 3D de la SDF. Luego, el campo de textura se consulta en puntos de la superficie para asignar colores, lo que resulta en texturas de alta fidelidad. El entrenamiento se logra a través de pérdidas adversarias definidas en imágenes 2D, utilizando dos discriminadores que clasifican imágenes RGB y siluetas reales frente a falsas. Este enfoque entrenable de extremo a extremo permite a GET3D aprender de vastos conjuntos de datos de imágenes 2D.
GET3D demuestra capacidades notables en la generación de activos 3D diversos, incluyendo coches, sillas, animales, motocicletas, personajes humanos y edificios. Sobresale en la producción de formas con topología arbitraria, geometría detallada y texturas de alta fidelidad, superando significativamente los métodos anteriores. Una característica clave es la desvinculación entre geometría y textura, lo que permite la manipulación independiente de la forma y la apariencia. El modelo también admite interpolación significativa en su espacio latente, lo que permite transiciones suaves entre diferentes formas y texturas, y puede generar formas novedosas con ligeras variaciones locales.
Además, GET3D se puede combinar con otras técnicas para la generación de materiales no supervisada y se puede adaptar para la generación de formas guiada por texto. Al ajustar el generador 3D utilizando la pérdida CLIP en imágenes 2D renderizadas y indicaciones de texto proporcionadas por el usuario, GET3D puede producir formas significativas basadas en descripciones textuales. Esta versatilidad lo convierte en una herramienta poderosa para los creadores de contenido que buscan generar una amplia gama de activos 3D de manera eficiente y con alta calidad visual.
- CategoríaGeneradores de modelos 3D
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de GET3D
Genera mallas texturizadas 3D de alta calidad
Directamente utilizable en motores de renderizado 3D
Sintetiza formas con topología arbitraria
Produce ricos detalles geométricos y texturas de alta fidelidad
Aprende de colecciones de imágenes 2D
Logra desvinculación entre geometría y textura
Soporta interpolación significativa en el espacio latente
Permite la generación de formas novedosas con variaciones
Puede adaptarse para la generación de formas guiada por texto
Entrenado utilizando pérdidas adversarias en imágenes 2D
Utiliza un renderizador diferenciable (DMTet)
Genera campos SDF y de textura 3D
Primeros pasos con GET3D
Acceder al modelo: Obtener acceso a los pesos y al código del modelo GET3D.
Configurar el entorno: Configurar las dependencias de software y hardware necesarias.
Integrar vía API: Utilizar las bibliotecas o APIs proporcionadas para interactuar con el modelo.
Generar activos 3D: Introducir códigos latentes o indicaciones de texto para sintetizar mallas texturizadas 3D.
Extraer mallas: Usar DMTet para extraer mallas de superficie de las SDF generadas.
Aplicar texturas: Consultar el campo de textura para obtener los colores de los puntos de la superficie.
Refinar y exportar: Procesar o exportar los activos generados para aplicaciones posteriores.
Casos de uso de GET3D
- Generación de Activos 3D
- Contenido de Mundos Virtuales
- Desarrollo de Videojuegos
- Experiencias AR/VR
- Diseño Digital
- Síntesis de Texto a 3D
- Variación de Topología
