ControlNet

Описание

ControlNet — это новая архитектура нейронной сети, предназначенная для обеспечения точного условного управления диффузионными моделями типа «текст в изображение». Это достигается путем дублирования весов блоков диффузионной модели в заблокированную, оригинальную копию и обучаемую копию. Обучаемая копия учится учитывать специфические условия, такие как карты краев, карты глубины или позы человека, в то время как заблокированная копия сохраняет целостность оригинальной, готовой к производству диффузионной модели. Этот инновационный подход предотвращает разрушение предварительно обученных моделей во время дообучения, даже с небольшими наборами данных, что делает возможным обучение на персональном оборудовании.

Основной механизм ControlNet включает «нулевую свертку» — свертку 1x1 с нулевыми начальными весами и смещениями. Изначально эти нулевые свертки выдают нули, гарантируя, что ControlNet не вносит искажений в диффузионный процесс. По мере обучения эти слои учатся интегрировать условную информацию, не изменяя фундаментальные возможности базовой диффузионной модели. Этот метод вычислительно эффективен и требует лишь незначительно большего объема памяти GPU, чем оригинальная диффузионная модель.

ControlNet поддерживает широкий спектр входных данных для условий, включая края Canny, линии M-LSD, границы HED, наброски пользователя, позы человека, карты семантической сегментации и карты глубины. Он также предлагает «Режим угадывания» (Guess Mode), который позволяет модели выводить контент из карт управления даже без явных текстовых подсказок, открывая новые пути для творческих исследований. Компонуемость ControlNet позволяет осуществлять управление по нескольким условиям путем объединения нескольких экземпляров ControlNet. Кроме того, ControlNet может быть интегрирован с различными моделями сообщества, предлагая пользователям широкую гибкость.

Проект предоставляет несколько приложений Gradio для простого экспериментирования с различными типами управления, демонстрируя его практическое применение в генерации изображений. Он также включает скрипты для аннотирования данных и обучения пользовательских ControlNet, позволяя пользователям адаптировать технологию к своим конкретным потребностям. Открытый исходный код ControlNet, размещенный на GitHub, способствует сотрудничеству сообщества и дальнейшему развитию.

ControlNet особенно ценен для художников, дизайнеров, исследователей и разработчиков, работающих с генеративным ИИ, которым требуется более детальный контроль над синтезом изображений. Его способность использовать существующие диффузионные модели при добавлении точных условий делает его мощным инструментом для создания высокоспецифичного и стилизованного визуального контента. Гибкость в обучении и интеграции делает его доступным для широкого круга пользователей, от энтузиастов до продвинутых специалистов по ИИ.

Главное о ControlNet

• Добавляет условное управление к диффузионным моделям

• Сохраняет веса оригинальной диффузионной модели

• Позволяет дообучение на небольших наборах данных

• Поддерживает различные входные данные для условий (края, глубина, поза, наброски и т. д.)

• Имеет «Режим угадывания» для генерации без подсказок

• Компонуемый для управления по нескольким условиям

• Совместим с диффузионными моделями сообщества

• Режим с низким объемом VRAM для сред с ограниченными ресурсами

• Включает приложения Gradio для различных типов управления

• Предоставляет скрипты для аннотирования данных и обучения

• Реализация с открытым исходным кодом доступна на GitHub

• Поддерживает Stable Diffusion V1.5 и V2

Начало работы с ControlNet

1. 1

   Настройка среды: Создайте новую среду conda, используя предоставленный файл environment.yaml.

2. 2

   Загрузка моделей: Получите предварительно обученные модели ControlNet и модели детекторов со страницы Hugging Face.

3. 3

   Организация файлов: Поместите модели SD в 'ControlNet/models', а детекторы — в 'ControlNet/annotator/ckpts'.

4. 4

   Запуск приложений Gradio: Выполните скрипты Python для конкретных типов управления (например, gradio_canny2image.py).

5. 5

   Интеграция через API: Используйте архитектуру ControlNet в пользовательских конвейерах диффузионных моделей.

6. 6

   Обучение пользовательских моделей: Следуйте предоставленным инструкциям для обучения ControlNet на ваших собственных данных.

7. 7

   Исследование режима угадывания: Включите «Режим угадывания» в пользовательском интерфейсе для генерации изображений без подсказок.

8. 8

   Комбинирование ControlNet: Экспериментируйте с комбинированием нескольких ControlNet для управления по нескольким условиям.

Варианты использования ControlNet

• Условная генерация изображений
• Перенос художественного стиля
• Редактирование и манипулирование изображениями
• Синтез изображений на основе позы
• Генерация изображений из набросков
• Создание изображений с учетом глубины
• Управление семантической сегментацией
• Генерация изображений без подсказок

Часто задаваемые вопросы ControlNet

• Что такое ControlNet и как он работает?

  ControlNet — это структура нейронной сети, которая добавляет условное управление к диффузионным моделям путем копирования весов в заблокированные и обучаемые копии. Обучаемая копия изучает специфические условия, позволяя точно управлять генерацией изображений без повреждения оригинальной модели.

• Можно ли обучать ControlNet на персональных устройствах?

  Да, архитектура ControlNet позволяет обучать на небольших наборах данных, что делает возможным обучение на персональных или даже устройствах с низким объемом VRAM без повреждения предварительно обученных диффузионных моделей.

• Какие типы условий может использовать ControlNet?

  ControlNet поддерживает широкий спектр условий, включая края Canny, линии M-LSD, границы HED, наброски пользователя, позы человека, карты семантической сегментации и карты глубины.

• Что такое «Режим угадывания» в ControlNet?

  Режим угадывания, также известный как режим без подсказок, позволяет ControlNet выводить содержимое карт управления (таких как карты глубины или краев) и генерировать изображения даже без явных текстовых подсказок.

• Совместим ли ControlNet со Stable Diffusion V2?

  Да, ControlNet поддерживает Stable Diffusion V2, с предоставлением специальных инструментов, таких как tool_add_control_sd21.py и tutorial_train_sd21.py, для его интеграции.

• Можно ли использовать несколько ControlNet вместе?

  Да, ControlNet являются компонуемыми, что означает, что несколько ControlNet могут быть объединены для достижения управления по нескольким условиям при генерации изображений.

• Каковы преимущества использования «нулевой свертки» в ControlNet?

  «Нулевая свертка» инициализирует веса и смещения нулями, гарантируя, что ControlNet не вызовет никаких искажений в диффузионном процессе до начала обучения, сохраняя вывод оригинальной модели.

• Как ControlNet обрабатывает память GPU?

  ControlNet вычислительно эффективен. Способ соединения слоев гарантирует, что оригинальный энкодер SD не нуждается в хранении градиентов, в результате чего требуемая память GPU не намного больше, чем у оригинального SD.

• Где я могу найти предварительно обученные модели ControlNet?

  Предварительно обученные модели ControlNet и модели детекторов можно загрузить со страницы проекта на Hugging Face.

• Можно ли использовать ControlNet с диффузионными моделями сообщества?

  Да, ControlNet предлагает экспериментальные функции для использования с любой моделью сообщества (SD1.X), а также предоставляет плагин WebUI «подключи и работай» для более простой интеграции.