Описание
Invoker-Render — это сложная модель ИИ для генерации видео из видео, разработанная компанией inclusionAI, которая позволяет высоко управляемую генерацию видео. С 33,12 миллиарда параметров эта модель сосредоточена на генерации визуальных образов видео на основе структурных прокси, одного изображения-референса и текстовых подсказок. Она работает по принципу сохранения состояния мира в верхнем движке, где визуальные прокси определяют такие элементы, как путь камеры, компоновка сцены и движение объектов, в то время как модель видео обрабатывает визуальный рендеринг.
Читать далее
Суть Invoker-Render заключается в ее причинных весах DiT, которые размещены в ее репозитории. Модель разработана для работы в сочетании с сопутствующим кодом вывода CodeWorldModel, что облегчает причинную генерацию в четыре этапа. Эта настройка основана на надежных фреймворках, таких как MiniMax-H3, SGLang и SGLang-Omni, что обеспечивает эффективную и масштабируемую работу.
Ключевые особенности Invoker-Render включают ее способность к потоковой передаче на длинные горизонты, что позволяет сессиям работать бесконечно, пока предоставляются прокси-кадры. Это достигается за счет фиксированного якоря внешнего вида и ограниченного окна истории, поддерживая визуальную согласованность на протяжении длительных периодов. Более того, модель предлагает многоуровневое управление, принимая широкий спектр структурных входов, таких как семантические карты, разреженные 3D-коробки, маски объектов, затененную геометрию и коробки со скелетами, предоставляя пользователям точный контроль над сгенерированным видео-контентом.
Для интерактивного развертывания сопутствующий код предоставляет службу сессий WebSocket, файловый клиент и браузерный клиент, что делает модель доступной для различных приложений. Веса модели хранятся в формате FP32 на 29 частях safetensors, в общей сложности около 132,5 ГБ. Хотя репозиторий включает основные причинные веса DiT, пользователям необходимо отдельно подготовить соответствующие ресурсы, такие как VAE, Qwen, причинный декодер и тензоры тишины для вывода. Стандартный производственный профиль для вывода обычно требует восемь графических процессоров NVIDIA на одном узле, обрабатывающих входные данные, такие как первое изображение RGB 1344×768, прокси-видео 24 FPS и текстовую подсказку.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Invoker-Render
Модель видео-видео: Генерирует визуальные образы видео из структурных прокси и входных данных.
33 миллиарда параметров: Большой размер модели для продвинутых возможностей генерации видео.
Рендеринг с учетом прокси: Использует визуальные прокси для управления путем камеры, компоновкой сцены и движением объектов.
Ввод изображения-референса: Принимает одно изображение для управления визуальным стилем.
Ввод текстовой подсказки: Принимает текстовые описания для генерации контента.
Причинные веса DiT: Использует специфические веса модели для генерации потоков.
Долгосрочная потоковая передача: Поддерживает непрерывную генерацию видео по мере поступления прокси-кадров.
Фиксированный якорь внешнего вида: Поддерживает согласованный внешний вид на протяжении длительных сессий.
Многоуровневое управление: Принимает разнообразные структурные входы, такие как семантические карты, 3D-коробки и маски объектов.
Интерактивное развертывание: Сопутствующий код предлагает WebSocket, файловый и браузерный клиенты.
Вес в формате FP32: Веса модели хранятся в полном разрешении.
Базовая модель MiniMax-H3: Построена на архитектуре MiniMax-H3.
Лицензия Apache-2.0: Регулирует использование репозитория.
Лицензия CC BY-NC 4.0: Применяется к некоммерческому использованию.
Начало работы с Invoker-Render
Доступ к весам модели: Скачайте основные причинные веса DiT из корня репозитория.
Подготовка ресурсов: Отдельно приобретите и подготовьте соответствующие ресурсы, такие как VAE, Qwen и причинный декодер.
Настройка окружения: Следуйте инструкциям в README.md и docs/INFERENCE.md в сопутствующем репозитории CodeWorldModel.
Подготовка пакета: Создайте пакет вывода, как указано в сопутствующем репозитории.
Запуск службы или выполнение вывода: Инициализируйте службу сессий WebSocket или выполните файловый вывод с помощью invoker_render.py.
Предоставление входных данных: Укажите первое изображение RGB 1344×768, прокси-видео 24 FPS и текстовую подсказку.
Варианты использования Invoker-Render
- Управляемая генерация видео
- Создание длинных видео
- Семантический видеомонтаж
- Рендеринг 3D-сцен
- Интерактивные видеоприложения




