GET3D

Le modèle fonctionne en générant une fonction de distance signée (SDF) 3D et un champ de texture, tous deux dérivés de codes latents. Un moteur de rendu différentiable, spécifiquement DMTet, est employé pour extraire un maillage de surface 3D à partir du SDF. Le champ de texture est ensuite interrogé aux points de surface pour attribuer des couleurs, résultant en des textures de haute fidélité. L'entraînement est réalisé par des pertes adversarielles définies sur des images 2D, utilisant deux discriminateurs qui classifient les images RVB réelles par rapport aux fausses et les silhouettes. Cette approche entraînable de bout en bout permet à GET3D d'apprendre à partir de vastes ensembles de données d'images 2D.

GET3D démontre des capacités remarquables dans la génération d'actifs 3D divers, y compris des voitures, des chaises, des animaux, des motos, des personnages humains et des bâtiments. Il excelle dans la production de formes avec une topologie arbitraire, une géométrie détaillée et des textures de haute fidélité, surpassant significativement les méthodes précédentes. Une caractéristique clé est le désentanglement entre la géométrie et la texture, permettant une manipulation indépendante de la forme et de l'apparence. Le modèle prend également en charge l'interpolation significative dans son espace latent, permettant des transitions fluides entre différentes formes et textures, et peut générer de nouvelles formes avec de légères variations locales.

De plus, GET3D peut être combiné avec d'autres techniques pour la génération de matériaux non supervisée et peut être adapté pour la génération de formes guidée par le texte. En affinant le générateur 3D à l'aide de la perte CLIP sur des images 2D rendues et des invites textuelles fournies par l'utilisateur, GET3D peut produire des formes significatives basées sur des descriptions textuelles. Cette polyvalence en fait un outil puissant pour les créateurs de contenu cherchant à générer une large gamme d'actifs 3D efficacement et avec une haute qualité visuelle.