Описание
StoryDiffusion — это передовая система ИИ, предназначенная для генерации связных и согласованных изображений и видео в расширенных последовательностях. Этот проект, принятый в качестве статьи для Spotlight Presentation на конференции NeurIPS 2024, представляет новые методы для решения задач поддержания визуальной согласованности при создании контента на больших промежутках.
Читать далее
Основная инновация заключается в механизме «Согласованное самовнимание» (Consistent Self-Attention), специально разработанном для генерации изображений с консистентностью персонажей. Эта функция спроектирована как «горячо подключаемая» и совместимая с существующими моделями Stable Diffusion, включая архитектуры SD1.5 и SDXL. Для эффективной консистентности персонажей пользователи должны предоставить минимум три текстовых запроса, при этом рекомендуется использовать от пяти до шести запросов для оптимального расположения элементов. Это гарантирует, что персонажи и визуальные элементы останутся согласованными на протяжении всей сгенерированной серии изображений.
В дополнение к возможностям генерации изображений, StoryDiffusion включает «Предсказатель движения» (Motion Predictor) для генерации видео на больших промежутках. Этот компонент работает путем предсказания движения в сжатом семантическом пространстве изображений, что позволяет создавать видео с более значительным и плавным движением. Это достигается посредством двухэтапного процесса: сначала генерируется последовательность согласованных изображений с использованием модуля самовнимания, а затем плавно осуществляется переход между этими изображениями для формирования видео.
Система предлагает универсальные приложения, включая генерацию комиксов и преобразование изображений в видео. Функция генерации комиксов использует согласованную генерацию изображений для создания последовательных панелей. Функция преобразования изображений в видео позволяет пользователям вводить серию исходных изображений, которые модель затем использует для генерации видео. Такой подход облегчает создание очень длинного и высококачественного контента, сгенерированного ИИ. Проект предоставляет официальные реализации и демонстрации, включая версию с низким потреблением памяти GPU для более широкой доступности.
StoryDiffusion разрабатывается с акцентом на исследования и разработки в области генерации медиа с помощью ИИ. Проект размещен на GitHub, что способствует вкладу сообщества и прозрачности. Для установки требуется Python 3.8+ и PyTorch 2.0.0, а зависимости управляются через файл требований. Разработчики подчеркивают ответственное использование технологии, соблюдение местных законов и этических норм.
- КатегорияИИ-генераторы изображений
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Основные функции StoryDiffusion
Согласованное самовнимание для генерации изображений с консистентностью персонажей
Горячо подключаемая и совместимая с моделями SD1.5 и SDXL
Предсказатель движения для генерации видео на больших промежутках
Двухэтапный подход к генерации длинных видео
Возможности генерации комиксов
Генерация видео из изображений по исходным изображениям
Доступна версия с низким потреблением памяти GPU
Официальная реализация статьи Spotlight Presentation NeurIPS 2024
Поддерживает несколько текстовых запросов для организации макета
Предсказывает движение в сжатом семантическом пространстве изображений
Начало работы с StoryDiffusion
Клонировать репозиторий: Получите код StoryDiffusion из репозитория GitHub.
Установить зависимости: Настройте среду Python и установите необходимые пакеты с помощью pip.
Настроить параметры: При необходимости отрегулируйте параметры и предоставьте текстовые запросы для генерации изображений/видео.
Запустить генерацию: Выполните предоставленные скрипты или демонстрации для создания комиксов или видео.
Оптимизировать вывод: Экспериментируйте с конфигурациями запросов для улучшения согласованности и движения.
Варианты использования StoryDiffusion
- Создание комиксов
- Раскадровка
- Генерация видео
- Анимация персонажей
- Визуальное повествование
- Создание контента
- Исследования в области ИИ
