Описание
daVinci-MagiHuman — это открытая модель ИИ с 15 миллиардами параметров, которая генерирует синхронизированные видео с речью из одного фото. Вы загружаете портрет, добавляете сценарий или аудио и получаете естественный видеоклип, где аудио и видео генерируются вместе, а не сшиваются из отдельных потоков. Она разработана Sand.ai и GAIR Lab (Шанхайский университет Цзяотун) и выпущена под лицензией Apache 2.0, что позволяет проверять веса, запускать локально и использовать в коммерческих целях в рамках лицензии.
Читать далее
Модель использует однофазный трансформер, который совместно удаляет шум из видео и аудио токенов с использованием латентного изображения-референса, производя единый аудио-видео выход из фото лица и текста или аудио. На одном графическом процессоре NVIDIA H100 она может генерировать короткий клип 256p примерно за две секунды реального времени, а опубликованные оценки сообщают о низких показателях ошибок слов и высокой предпочтительности среди людей по сравнению с базовыми моделями, такими как Ovi 1.1 и LTX 2.3.
Пользователи могут попробовать ее через бесплатную онлайн-демонстрацию, скачать контрольные точки с Hugging Face или клонировать репозиторий GitHub для развертывания и запуска вывода с пользовательскими настройками и разрешениями до 1080p. Она поддерживает несколько языков для синхронизации губ в зависимости от выпущенных данных для обучения.
Хостинг-сервис предлагает бесплатный уровень с кредитами для старта и ежедневной проверки (временное хранилище на 15 дней), а также планы кредитов Basic, Pro и Max, которые добавляют HD-генерацию, приоритетную обработку, постоянное хранилище активов и права на коммерческое использование.
- КатегорияИИ-модели и LLM
- Модель ценообразованияФримиум
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Главное о daVinci-MagiHuman
Генерация видео с речью из одного фото с синхронизацией губ
Единое аудио и видео генерируются вместе за один проход модели
Архитектура однофазного трансформера с 15B параметрами
Открытый исходный код под лицензией Apache 2.0
Быстрый вывод (~2с для ~2с клипа 256p на H100)
Многоязычная синхронизация губ в зависимости от данных для обучения
Самостоятельное развертывание через Hugging Face и GitHub или хостинг онлайн-демо
Разрешения на выход до 1080p
Начало работы с daVinci-MagiHuman
Загрузите портрет: добавьте четкое фото лица в анфас.
Добавьте сценарий или аудио: введите текст или загрузите аудиофайл для озвучивания.
Выберите разрешение: выберите разрешение на выход, например 256p, 720p или 1080p.
Сгенерируйте: запустите модель для создания синхронизированного клипа.
Скачайте: сохраните готовое видео с речью или разверните его с Hugging Face или GitHub.
Варианты использования daVinci-MagiHuman
- Видео с говорящими аватарами
- Самостоятельная генерация
- Многоязычное дублирование
- Исследования и бенчмаркинг
- Создание контента
