LGM : Large Multi-View Gaussian Model

Description

LGM, acronyme de Large Multi-View Gaussian Model, est un framework avancé conçu pour la création de contenu 3D haute résolution. Ce projet, présenté à l'ECCV 2024 sous forme d'article oral, offre une implémentation robuste d'un nouveau modèle Gaussien capable de générer des actifs 3D détaillés à partir de plusieurs vues d'entrée. Le cœur de LGM réside dans sa capacité à exploiter les informations multi-vues pour reconstruire et rendre des scènes 3D complexes avec une fidélité impressionnante.

Le projet fournit un ensemble complet d'outils pour les chercheurs et les développeurs intéressés par la génération de contenu 3D. Cela comprend le dépôt de code officiel, les poids de modèles pré-entraînés disponibles au téléchargement et des instructions claires pour l'inférence. LGM prend en charge les pipelines de génération text-to-3D et image-to-3D, ce qui en fait un outil polyvalent pour diverses applications créatives et techniques. L'implémentation s'appuie sur les recherches existantes en matière de Gaussian splatting et de techniques de rendu neuronal, visant à repousser les limites de la qualité et de la résolution dans la synthèse 3D.

Les principales capacités de LGM incluent sa sortie haute résolution, permettant la création de modèles et de scènes 3D détaillés. L'architecture du modèle est optimisée pour les entrées multi-vues, permettant une reconstruction précise de la géométrie et de l'apparence. Le projet propose également une interface graphique locale pour visualiser les fichiers PLY enregistrés et des scripts pour la conversion de maillage, facilitant ainsi l'intégration dans les flux de travail 3D existants. Bien que le jeu de données d'entraînement soit basé sur AWS et ne soit pas directement transférable, le projet fournit le cadre du code d'entraînement et un sous-ensemble filtré du jeu de données Objaverse pour les utilisateurs qui souhaitent entraîner leurs propres modèles.

LGM est particulièrement pertinent pour les chercheurs en vision par ordinateur et en graphisme, les artistes 3D, les développeurs de jeux et toute personne impliquée dans la création ou la manipulation d'actifs 3D. La nature open-source du projet et sa documentation détaillée encouragent les contributions de la communauté et le développement ultérieur. L'accent mis sur la sortie haute résolution et la cohérence multi-vues positionne LGM comme une avancée significative dans le domaine de la modélisation 3D générative.

Fonctionnalités principales de LGM : Large Multi-View Gaussian Model

• Création de contenu 3D haute résolution

• Implémentation du Large Multi-View Gaussian Model

• Prend en charge la génération text-to-3D

• Prend en charge la génération image-to-3D

• Code officiel et poids pré-entraînés fournis

• Inclut des scripts d'inférence

• Interface graphique locale pour la visualisation de modèles 3D

• Utilitaires de conversion de maillage

• Basé sur les techniques de Gaussian Splatting

• Article oral ECCV 2024

Premiers pas avec LGM : Large Multi-View Gaussian Model

1. 1

   Cloner le dépôt : Obtenez le code LGM depuis GitHub.

2. 2

   Installer les dépendances : Configurez les paquets Python requis, y compris PyTorch et xformers.

3. 3

   Télécharger les poids : Obtenez les points de contrôle du modèle pré-entraîné depuis Hugging Face.

4. 4

   Configurer l'inférence : Spécifiez les chemins de l'espace de travail et des tests pour la génération.

5. 5

   Exécuter l'inférence : Lancez le script `infer.py` pour la génération 3D.

6. 6

   Visualiser les résultats : Utilisez `gui.py` pour visualiser les fichiers PLY générés.

7. 7

   Convertir en maillage : Employez `convert.py` pour l'extraction de maillage.

Cas d'utilisation de LGM : Large Multi-View Gaussian Model

• Génération d'actifs 3D haute résolution
• Création de contenu text-to-3D
• Reconstruction image-to-3D
• Contenu 3D pour AR/VR
• Actifs pour le développement de jeux
• Recherche en 3D générative

FAQ de LGM : Large Multi-View Gaussian Model

• Qu'est-ce que LGM : Large Multi-View Gaussian Model ?

  LGM est une implémentation officielle d'un Large Multi-View Gaussian Model pour la création de contenu 3D haute résolution, présenté à l'ECCV 2024.

• Quel type de contenu 3D LGM peut-il créer ?

  LGM est conçu pour la création de contenu 3D haute résolution, capable de générer des actifs 3D détaillés à partir d'images multi-vues.

• LGM prend-il en charge la génération text-to-3D ?

  Oui, LGM prend en charge les pipelines de génération text-to-3D, permettant aux utilisateurs de créer des modèles 3D à partir de descriptions textuelles.

• LGM peut-il générer des modèles 3D à partir d'images ?

  Oui, LGM prend en charge la génération image-to-3D, permettant la création d'actifs 3D basés sur des images d'entrée.

• Où puis-je trouver les poids pré-entraînés pour LGM ?

  Les poids pré-entraînés pour LGM peuvent être téléchargés depuis Hugging Face, avec des liens spécifiques fournis dans le dépôt.

• Quelles sont les exigences matérielles pour l'inférence LGM ?

  L'inférence avec LGM nécessite généralement environ 10 Go de mémoire GPU, en tenant compte du chargement de divers modèles.

• Le code d'entraînement est-il disponible pour LGM ?

  Oui, le projet fournit le cadre de code d'entraînement nécessaire, bien que le jeu de données d'origine soit basé sur AWS et nécessite une adaptation pour de nouveaux environnements.

• Quel est le principal avantage de l'utilisation de LGM ?

  Le principal avantage de LGM est sa capacité à générer du contenu 3D haute résolution avec des détails impressionnants à partir d'entrées multi-vues.

• Sur quelles technologies LGM s'appuie-t-il ?

  LGM s'appuie sur les recherches en Gaussian splatting, diff-gaussian-rasterization et nvdiffrast pour ses capacités de rendu 3D.

• Comment puis-je visualiser les modèles 3D générés ?

  Vous pouvez visualiser les fichiers PLY enregistrés à l'aide du script `gui.py` fourni pour une visualisation locale.