Описание
MVDream — это open-source проект, размещенный на GitHub и разработанный bytedance, который фокусируется на многоракурсной диффузии для 3D-генерации. Этот репозиторий содержит код диффузионной модели и генерации 2D-изображений, который лежит в основе статьи MVDream. Хотя этот репозиторий предоставляет основные диффузионные возможности, фактическая 3D-генерация обрабатывается отдельным проектом MVDream-threestudio.
Читать далее
Основная цель MVDream — генерация согласованных многоракурсных изображений по текстовым запросам. Эта возможность имеет решающее значение для реконструкции или генерации 3D-моделей, поскольку несколько видов предоставляют необходимую геометрическую информацию. Проект использует мощь диффузионных моделей, в частности, опираясь на архитектуру и принципы Stable Diffusion.
Установка проста и позволяет пользователям настроить среду, используя предоставленный файл требований или установив его как Python-модуль. Проект предлагает предварительно обученные модели, включая версии на основе Stable Diffusion 2.1 Base и Stable Diffusion 1.5, доступные на Hugging Face. Эти модели распространяются под лицензией OpenRAIL.
Пользователи могут генерировать многоракурсные изображения непосредственно из командной строки, используя текстовые запросы. Кроме того, предоставляется скрипт Gradio для интерактивного взаимодействия через графический интерфейс. Модели могут быть загружены автоматически с Hugging Face или вручную с использованием конфигурационных файлов и файлов контрольных точек. Процесс инференса включает генерацию шума, определение временных шагов и предоставление информации об условиях, такой как текстовые эмбеддинги и параметры камеры.
MVDream в значительной степени вдохновлен проектом Stable Diffusion и основан на нем, с благодарностью его авторам за их open-source вклад. Цель проекта — продвигать исследования и разработки в области 3D-генерации, предоставляя доступные и мощные инструменты многоракурсной диффузии.
- КатегорияГенераторы 3D-моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Основные функции MVDream
Генерация многоракурсных изображений по текстовым запросам
Архитектура диффузионной модели
Основано на Stable Diffusion
Предоставляет код для генерации 2D-изображений
Поддерживает модели Stable Diffusion 2.1 Base и 1.5
Интерфейс командной строки для генерации текста в изображение
Скрипт Gradio для интерактивного взаимодействия через GUI
Автоматическая загрузка моделей с Hugging Face
Ручная загрузка моделей через файлы конфигурации и контрольных точек
Лицензия OpenRAIL для моделей
Возможность установки как Python-модуля
Начало работы с MVDream
Клонировать: Клонируйте репозиторий MVDream с GitHub.
Установить: Установите зависимости, используя `pip install -r requirements.txt` или `pip install -e .`.
Настроить: Выберите и загрузите предварительно обученную модель (например, `sd-v2.1-base-4view`).
Генерировать: Запустите скрипты генерации текста в изображение (например, `python scripts/t2i.py`).
Взаимодействовать: Используйте приложение Gradio для работы с графическим интерфейсом (`python scripts/gradio_app.py`).
Инференс: Выполните инференс модели с пользовательским шумом, временными шагами и условиями.
Варианты использования MVDream
- Генерация 3D-ассетов
- Синтез многоракурсных изображений
- Исследования в области генеративного ИИ
- Конвейер компьютерной графики
- Контент для виртуальной реальности
- Контент для дополненной реальности
