ControlNet

Description

ControlNet est une architecture de réseau neuronal novatrice conçue pour fournir un contrôle conditionnel précis sur les modèles de diffusion texte-vers-image. Il y parvient en dupliquant les poids des blocs du modèle de diffusion dans une copie verrouillée et originale, et une copie entraînable. La copie entraînable apprend à incorporer des conditions spécifiques, telles que des cartes de contours, des cartes de profondeur ou des poses humaines, tandis que la copie verrouillée préserve l'intégrité du modèle de diffusion original, prêt à la production. Cette approche innovante empêche la destruction des modèles pré-entraînés pendant le fine-tuning, même avec de petits ensembles de données, ce qui rend possible l'entraînement sur du matériel personnel.

Le mécanisme central de ControlNet implique une "convolution zéro", une convolution 1x1 avec des poids et des biais initialisés à zéro. Initialement, ces convolutions zéro produisent des zéros, garantissant que ControlNet n'introduit aucune distorsion dans le processus de diffusion. Au fur et à mesure que l'entraînement progresse, ces couches apprennent à intégrer les informations conditionnelles sans altérer les capacités fondamentales du modèle de diffusion de base. Cette méthode est efficace en termes de calcul, ne nécessitant qu'une empreinte mémoire GPU légèrement plus importante que le modèle de diffusion original.

ControlNet prend en charge un large éventail d'entrées de conditionnement, y compris les contours Canny, les lignes M-LSD, les contours HED, les croquis d'utilisateur, les poses humaines, les cartes de segmentation sémantique et les cartes de profondeur. Il offre également un "Mode Devine" qui permet au modèle d'inférer le contenu à partir des cartes de contrôle même sans invites textuelles explicites, ouvrant de nouvelles voies d'exploration créative. La composabilité des ControlNets permet un contrôle multi-conditions en combinant plusieurs instances de ControlNet. De plus, ControlNet peut être intégré à divers modèles communautaires, offrant une flexibilité étendue aux utilisateurs.

Le projet fournit plusieurs applications Gradio pour une expérimentation facile avec différents types de contrôle, démontrant son application pratique dans la génération d'images. Il comprend également des scripts pour l'annotation de données et l'entraînement de ControlNets personnalisés, permettant aux utilisateurs d'adapter la technologie à leurs besoins spécifiques. La nature open-source de ControlNet, hébergée sur GitHub, favorise la collaboration communautaire et le développement ultérieur.

ControlNet est particulièrement précieux pour les artistes, les designers, les chercheurs et les développeurs travaillant avec l'IA générative qui nécessitent un contrôle plus granulaire sur la synthèse d'images. Sa capacité à exploiter les modèles de diffusion existants tout en ajoutant un conditionnement précis en fait un outil puissant pour créer du contenu visuel hautement spécifique et stylisé. La flexibilité en matière d'entraînement et d'intégration le rend accessible à un large éventail d'utilisateurs, des amateurs aux praticiens avancés de l'IA.

Points forts de ControlNet

• Ajoute un contrôle conditionnel aux modèles de diffusion

• Préserve les poids du modèle de diffusion original

• Permet le fine-tuning sur de petits ensembles de données

• Prend en charge diverses entrées de conditionnement (contours, profondeur, pose, croquis, etc.)

• Dispose d'un "Mode Devine" pour la génération sans invite

• Composable pour un contrôle multi-conditions

• Compatible avec les modèles de diffusion communautaires

• Mode VRAM faible pour les environnements à ressources limitées

• Inclut des applications Gradio pour divers types de contrôle

• Fournit des scripts pour l'annotation de données et l'entraînement

• Implémentation open-source disponible sur GitHub

• Prend en charge Stable Diffusion V1.5 et V2

Premiers pas avec ControlNet

1. 1

   Configurer l'environnement : Créez un nouvel environnement conda en utilisant le fichier environment.yaml fourni.

2. 2

   Télécharger les modèles : Obtenez les modèles ControlNet pré-entraînés et les modèles détecteurs depuis la page Hugging Face.

3. 3

   Organiser les fichiers : Placez les modèles SD dans 'ControlNet/models' et les détecteurs dans 'ControlNet/annotator/ckpts'.

4. 4

   Exécuter les applications Gradio : Exécutez les scripts Python pour des types de contrôle spécifiques (par exemple, gradio_canny2image.py).

5. 5

   Intégrer via API : Utilisez l'architecture ControlNet dans des pipelines de modèles de diffusion personnalisés.

6. 6

   Entraîner des modèles personnalisés : Suivez les étapes fournies pour entraîner ControlNet avec vos propres données.

7. 7

   Explorer le Mode Devine : Activez le "Mode Devine" dans l'interface utilisateur pour la génération d'images sans invite.

8. 8

   Combiner les ControlNets : Expérimentez la composition de plusieurs ControlNets pour un contrôle multi-conditions.

Cas d'utilisation de ControlNet

• Génération d'images conditionnelles
• Transfert de style artistique
• Édition et manipulation d'images
• Synthèse d'images guidée par la pose
• Génération d'images à partir de croquis
• Création d'images sensible à la profondeur
• Contrôle par segmentation sémantique
• Génération d'images sans invite

FAQ de ControlNet

• Qu'est-ce que ControlNet et comment fonctionne-t-il ?

  ControlNet est une structure de réseau neuronal qui ajoute un contrôle conditionnel aux modèles de diffusion en copiant les poids dans des copies verrouillées et entraînables. La copie entraînable apprend des conditions spécifiques, permettant un contrôle précis de la génération d'images sans endommager le modèle original.

• ControlNet peut-il être entraîné sur des appareils personnels ?

  Oui, l'architecture de ControlNet permet l'entraînement avec de petits ensembles de données, ce qui le rend réalisable sur des appareils personnels ou même des appareils à faible VRAM sans détruire les modèles de diffusion pré-entraînés.

• Quels types de conditions ControlNet peut-il utiliser ?

  ControlNet prend en charge une large gamme de conditions, y compris les contours Canny, les lignes M-LSD, les contours HED, les croquis d'utilisateur, les poses humaines, les cartes de segmentation sémantique et les cartes de profondeur.

• Qu'est-ce que le "Mode Devine" dans ControlNet ?

  Le Mode Devine, également connu sous le nom de mode sans invite, permet à ControlNet d'inférer le contenu des cartes de contrôle (comme les cartes de profondeur ou de contours) et de générer des images même sans invites textuelles explicites.

• ControlNet est-il compatible avec Stable Diffusion V2 ?

  Oui, ControlNet prend en charge Stable Diffusion V2, avec des outils spécifiques tels que tool_add_control_sd21.py et tutorial_train_sd21.py fournis pour son intégration.

• Plusieurs ControlNets peuvent-ils être utilisés ensemble ?

  Oui, les ControlNets sont composables, ce qui signifie que plusieurs ControlNets peuvent être combinés pour obtenir un contrôle multi-conditions sur la génération d'images.

• Quels sont les avantages de l'utilisation de la "convolution zéro" dans ControlNet ?

  La "convolution zéro" initialise les poids et les biais à zéro, garantissant que ControlNet ne provoque aucune distorsion dans le processus de diffusion avant le début de l'entraînement, préservant ainsi la sortie du modèle original.

• Comment ControlNet gère-t-il la mémoire GPU ?

  ControlNet est efficace en termes de calcul. La manière dont les couches sont connectées garantit que l'encodeur SD original n'a pas besoin de stocker de gradients, ce qui se traduit par une mémoire GPU requise qui n'est pas beaucoup plus grande que celle du SD original.

• Où puis-je trouver des modèles ControlNet pré-entraînés ?

  Les modèles ControlNet pré-entraînés et les modèles détecteurs peuvent être téléchargés depuis la page Hugging Face du projet.

• ControlNet peut-il être utilisé avec des modèles de diffusion communautaires ?

  Oui, ControlNet offre des fonctionnalités expérimentales à utiliser avec n'importe quel modèle communautaire (SD1.X) et fournit également un plugin WebUI plug-and-play pour une intégration plus facile.