DreamTalk

Описание

DreamTalk — это официальная реализация фреймворка для генерации выразительных видео говорящих голов, управляемых аудио и основанных на диффузионных моделях. Этот инструмент предназначен для создания высококачественных видео говорящих голов, которые точно отражают разнообразные стили речи и эмоции. Его основная возможность заключается в надежной работе с широким спектром входных данных, включая стандартную речь, песни, многоязычное аудио и даже зашумленные аудиосигналы. Кроме того, DreamTalk демонстрирует устойчивость при обработке портретов вне домена, что делает его универсальным решением для различных приложений.

Фреймворк использует диффузионные вероятностные модели для достижения выразительной и реалистичной генерации видео. Пользователи могут установить проект с помощью conda и pip, следуя определенным требованиям к версиям PyTorch, torchvision, torchaudio и других зависимостей. Процесс установки включает создание выделенной среды conda, а затем установку необходимых пакетов из файла требований.

Для пользователей, заинтересованных в получении предварительно обученных контрольных точек, доступ к публичному скачиванию был прекращен из-за соображений социального воздействия. Заинтересованные стороны должны запрашивать контрольные точки по электронной почте, явно давая согласие на их использование исключительно в академических исследовательских целях. После получения контрольные точки должны быть помещены в указанную папку 'checkpoints'.

Инференс с помощью DreamTalk включает запуск скрипта Python с несколькими ключевыми параметрами. К ним относятся пути к входному аудиофайлу (поддерживаются различные форматы, такие как wav, mp3, m4a и mp4), эталонный клип стиля, последовательность поз головы и входное изображение портрета. Дополнительные параметры, такие как 'cfg_scale', контролируют интенсивность стилей речи, а 'max_gen_len' устанавливает максимальную продолжительность генерации видео. Выходное видео сохраняется в папке 'output_video', а промежуточные результаты — во временной папке.

DreamTalk также предлагает специальные решения для улучшения разрешения видео. Предлагаются два метода: CodeFormer для разрешения до 1024x1024, хотя он медленнее и может иметь проблемы с временной несогласованностью, и Temporal Super-Resolution Model от MetaPortrait для разрешения 512x512 с более высокой производительностью и временной согласованностью, хотя он может снизить интенсивность лицевых эмоций. Проект признает и опирается на предыдущие работы в этой области, цитируя соответствующие исследования и предоставляя запись для цитирования для академического использования.

Основные функции DreamTalk

• Генерация говорящих голов на основе аудио с использованием диффузионных моделей

• Высококачественный видеовыход с разнообразными стилями речи

• Надежная работа с различными аудиовходами (речь, песни, зашумленное аудио)

• Обработка портретов вне домена

• Поддержка нескольких языков

• Предоставление кода официальной реализации

• Включение скрипта инференса для генерации видео

• Предложение специальных решений для улучшения разрешения (CodeFormer, MetaPortrait)

• Настраиваемые параметры для интенсивности стиля и продолжительности генерации

• Поддержка инференса на CPU

Начало работы с DreamTalk

1. 1

   Клонировать: Клонируйте репозиторий DreamTalk с GitHub.

2. 2

   Установить зависимости: Создайте среду conda и установите необходимые пакеты с помощью предоставленного requirements.txt.

3. 3

   Скачать контрольные точки: Запросите контрольные точки по электронной почте для академических исследований и поместите их в папку 'checkpoints'.

4. 4

   Подготовить входные данные: Соберите входное аудио, эталонные клипы стиля, последовательности поз головы и изображения портретов.

5. 5

   Настроить инференс: Укажите пути к входным данным и параметры, такие как cfg_scale и max_gen_len, в скрипте инференса.

6. 6

   Выполнить инференс: Запустите скрипт инференса (например, python inference_for_demo_video.py) для генерации видео говорящих голов.

7. 7

   Улучшить разрешение (необязательно): Примените CodeFormer или MetaPortrait для улучшения разрешения видео.

8. 8

   Использовать для исследований: Применяйте сгенерированные видео в академических исследовательских целях.

Варианты использования DreamTalk

• Генерация выразительных говорящих голов
• Аудиовизуальный синтез
• Исследования в области AI-анимации
• Кросс-языковые говорящие головы
• Перенос стиля для лиц
• Обработка зашумленного аудио

Часто задаваемые вопросы DreamTalk

• Что такое DreamTalk?

  DreamTalk — это официальная реализация фреймворка на основе диффузионных моделей для генерации выразительных видео говорящих голов из аудио, предназначенная для академических исследований.

• Какие типы аудиовходов поддерживает DreamTalk?

  DreamTalk поддерживает разнообразные аудиовходы, включая речь на нескольких языках, песни и зашумленное аудио.

• Может ли DreamTalk генерировать говорящие головы из любого изображения портрета?

  Да, DreamTalk демонстрирует надежную работу с разнообразными входными данными, включая портреты вне домена, хотя фронтальные портреты с лицами, смотрящими прямо вперед, обычно дают лучшие результаты.

• Как установить DreamTalk?

  Установка включает создание среды conda, ее активацию, а затем установку зависимостей с помощью pip install -r requirements.txt, а также конкретных версий PyTorch и других библиотек.

• Как получить предварительно обученные контрольные точки для DreamTalk?

  Публичный доступ к скачиванию контрольных точек прекращен. Вы должны запросить их по электронной почте на mayf18@mails.tsinghua.edu.cn, согласившись использовать их исключительно для академических исследований.

• Какие параметры важны для запуска скрипта инференса?

  Ключевые параметры включают пути к аудио, клипу стиля, позе и исходному изображению, а также 'cfg_scale' для интенсивности стиля и 'max_gen_len' для продолжительности видео.

• Можно ли запускать DreamTalk на CPU?

  Да, вы можете запускать DreamTalk на CPU, добавив аргумент '--device=cpu' в командную строку.

• Какие есть варианты улучшения разрешения сгенерированных видео?

  Специальные решения включают использование CodeFormer для разрешения до 1024x1024 или Temporal Super-Resolution Model от MetaPortrait для разрешения 512x512.

• Каково предполагаемое использование DreamTalk?

  Этот метод предназначен ТОЛЬКО ДЛЯ ИССЛЕДОВАТЕЛЬСКОГО/НЕКОММЕРЧЕСКОГО ИСПОЛЬЗОВАНИЯ.

• Где я могу найти примеры входных данных для DreamTalk?

  Примеры входных данных предоставляются в папке 'data' в репозитории, хотя конкретные песни, использованные в примерах, не могут быть включены из-за авторских прав.