MVDream

Описание

MVDream — это open-source проект, размещенный на GitHub и разработанный bytedance, который фокусируется на многоракурсной диффузии для 3D-генерации. Этот репозиторий содержит код диффузионной модели и генерации 2D-изображений, который лежит в основе статьи MVDream. Хотя этот репозиторий предоставляет основные диффузионные возможности, фактическая 3D-генерация обрабатывается отдельным проектом MVDream-threestudio.

Основная цель MVDream — генерация согласованных многоракурсных изображений по текстовым запросам. Эта возможность имеет решающее значение для реконструкции или генерации 3D-моделей, поскольку несколько видов предоставляют необходимую геометрическую информацию. Проект использует мощь диффузионных моделей, в частности, опираясь на архитектуру и принципы Stable Diffusion.

Установка проста и позволяет пользователям настроить среду, используя предоставленный файл требований или установив его как Python-модуль. Проект предлагает предварительно обученные модели, включая версии на основе Stable Diffusion 2.1 Base и Stable Diffusion 1.5, доступные на Hugging Face. Эти модели распространяются под лицензией OpenRAIL.

Пользователи могут генерировать многоракурсные изображения непосредственно из командной строки, используя текстовые запросы. Кроме того, предоставляется скрипт Gradio для интерактивного взаимодействия через графический интерфейс. Модели могут быть загружены автоматически с Hugging Face или вручную с использованием конфигурационных файлов и файлов контрольных точек. Процесс инференса включает генерацию шума, определение временных шагов и предоставление информации об условиях, такой как текстовые эмбеддинги и параметры камеры.

MVDream в значительной степени вдохновлен проектом Stable Diffusion и основан на нем, с благодарностью его авторам за их open-source вклад. Цель проекта — продвигать исследования и разработки в области 3D-генерации, предоставляя доступные и мощные инструменты многоракурсной диффузии.

Основные функции MVDream

• Генерация многоракурсных изображений по текстовым запросам

• Архитектура диффузионной модели

• Основано на Stable Diffusion

• Предоставляет код для генерации 2D-изображений

• Поддерживает модели Stable Diffusion 2.1 Base и 1.5

• Интерфейс командной строки для генерации текста в изображение

• Скрипт Gradio для интерактивного взаимодействия через GUI

• Автоматическая загрузка моделей с Hugging Face

• Ручная загрузка моделей через файлы конфигурации и контрольных точек

• Лицензия OpenRAIL для моделей

• Возможность установки как Python-модуля

Начало работы с MVDream

1. 1

   Клонировать: Клонируйте репозиторий MVDream с GitHub.

2. 2

   Установить: Установите зависимости, используя `pip install -r requirements.txt` или `pip install -e .`.

3. 3

   Настроить: Выберите и загрузите предварительно обученную модель (например, `sd-v2.1-base-4view`).

4. 4

   Генерировать: Запустите скрипты генерации текста в изображение (например, `python scripts/t2i.py`).

5. 5

   Взаимодействовать: Используйте приложение Gradio для работы с графическим интерфейсом (`python scripts/gradio_app.py`).

6. 6

   Инференс: Выполните инференс модели с пользовательским шумом, временными шагами и условиями.

Варианты использования MVDream

• Генерация 3D-ассетов
• Синтез многоракурсных изображений
• Исследования в области генеративного ИИ
• Конвейер компьютерной графики
• Контент для виртуальной реальности
• Контент для дополненной реальности

Часто задаваемые вопросы MVDream

• Для чего используется MVDream?

  MVDream используется для генерации многоракурсных 2D-изображений по текстовым запросам, что служит основой для 3D-генерации.

• Какова связь между MVDream и Stable Diffusion?

  MVDream построен на архитектуре и принципах Stable Diffusion, используя его возможности диффузионной модели для генерации многоракурсных изображений.

• Генерирует ли MVDream 3D-модели напрямую?

  Нет, этот репозиторий предоставляет код диффузионной модели и генерации 2D-изображений. Для прямой 3D-генерации следует обратиться к проекту MVDream-threestudio.

• Как установить MVDream?

  Вы можете установить MVDream, клонировав репозиторий и установив требования с помощью `pip install -r requirements.txt`, или установив его как Python-модуль с помощью `pip install -e .`.

• Где найти предварительно обученные модели MVDream?

  Предварительно обученные модели MVDream доступны на странице моделей Hugging Face.

• Какие базовые модели доступны для MVDream?

  MVDream предлагает модели на основе Stable Diffusion 2.1 Base (4 вида) и Stable Diffusion 1.5 (4 вида).

• Могу ли я генерировать изображения с помощью графического интерфейса?

  Да, MVDream предоставляет скрипт Gradio (`scripts/gradio_app.py`) для интерактивного взаимодействия через GUI.

• Какая лицензия используется для моделей MVDream?

  Модели, предоставляемые MVDream, распространяются под лицензией OpenRAIL.

• Как выполнить генерацию текста в изображение с помощью MVDream?

  Вы можете генерировать многоракурсные изображения, запустив скрипт `scripts/t2i.py` с текстовым запросом, например: `python scripts/t2i.py --text "астронавт верхом на лошади"`.

• Могу ли я загрузить модель MVDream вручную?

  Да, вы можете загрузить модель вручную, предоставив файл конфигурации и файл контрольной точки.