Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Invoker-Render

Invoker-Render — это модель ИИ для генерации видео из видео с 33 миллиардами параметров, предназначенная для управляемой генерации видео. Она использует визуальные прокси для фиксации путей камеры, компоновки сцен и движений объектов, а затем генерирует визуальные образы на основе этих структурных входов, изображения-референса и текстовых подсказок. Модель поддерживает потоковую передачу на длинные горизонты и многоуровневое управление для различных задач рендеринга видео.

Открыть модель
Поделиться
Открыть модель
Поделиться

Invoker-Render — это сложная модель ИИ для генерации видео из видео, разработанная компанией inclusionAI, которая позволяет высоко управляемую генерацию видео. С 33,12 миллиарда параметров эта модель сосредоточена на генерации визуальных образов видео на основе структурных прокси, одного изображения-референса и текстовых подсказок. Она работает по принципу сохранения состояния мира в верхнем движке, где визуальные прокси определяют такие элементы, как путь камеры, компоновка сцены и движение объектов, в то время как модель видео обрабатывает визуальный рендеринг.

Читать далее

Суть Invoker-Render заключается в ее причинных весах DiT, которые размещены в ее репозитории. Модель разработана для работы в сочетании с сопутствующим кодом вывода CodeWorldModel, что облегчает причинную генерацию в четыре этапа. Эта настройка основана на надежных фреймворках, таких как MiniMax-H3, SGLang и SGLang-Omni, что обеспечивает эффективную и масштабируемую работу.

Ключевые особенности Invoker-Render включают ее способность к потоковой передаче на длинные горизонты, что позволяет сессиям работать бесконечно, пока предоставляются прокси-кадры. Это достигается за счет фиксированного якоря внешнего вида и ограниченного окна истории, поддерживая визуальную согласованность на протяжении длительных периодов. Более того, модель предлагает многоуровневое управление, принимая широкий спектр структурных входов, таких как семантические карты, разреженные 3D-коробки, маски объектов, затененную геометрию и коробки со скелетами, предоставляя пользователям точный контроль над сгенерированным видео-контентом.

Для интерактивного развертывания сопутствующий код предоставляет службу сессий WebSocket, файловый клиент и браузерный клиент, что делает модель доступной для различных приложений. Веса модели хранятся в формате FP32 на 29 частях safetensors, в общей сложности около 132,5 ГБ. Хотя репозиторий включает основные причинные веса DiT, пользователям необходимо отдельно подготовить соответствующие ресурсы, такие как VAE, Qwen, причинный декодер и тензоры тишины для вывода. Стандартный производственный профиль для вывода обычно требует восемь графических процессоров NVIDIA на одном узле, обрабатывающих входные данные, такие как первое изображение RGB 1344×768, прокси-видео 24 FPS и текстовую подсказку.

  • КатегорияИИ-модели и LLM
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Модель видео-видео: Генерирует визуальные образы видео из структурных прокси и входных данных.

  • 33 миллиарда параметров: Большой размер модели для продвинутых возможностей генерации видео.

  • Рендеринг с учетом прокси: Использует визуальные прокси для управления путем камеры, компоновкой сцены и движением объектов.

  • Ввод изображения-референса: Принимает одно изображение для управления визуальным стилем.

  • Ввод текстовой подсказки: Принимает текстовые описания для генерации контента.

  • Причинные веса DiT: Использует специфические веса модели для генерации потоков.

  • Долгосрочная потоковая передача: Поддерживает непрерывную генерацию видео по мере поступления прокси-кадров.

  • Фиксированный якорь внешнего вида: Поддерживает согласованный внешний вид на протяжении длительных сессий.

  • Многоуровневое управление: Принимает разнообразные структурные входы, такие как семантические карты, 3D-коробки и маски объектов.

  • Интерактивное развертывание: Сопутствующий код предлагает WebSocket, файловый и браузерный клиенты.

  • Вес в формате FP32: Веса модели хранятся в полном разрешении.

  • Базовая модель MiniMax-H3: Построена на архитектуре MiniMax-H3.

  • Лицензия Apache-2.0: Регулирует использование репозитория.

  • Лицензия CC BY-NC 4.0: Применяется к некоммерческому использованию.

  1. Доступ к весам модели: Скачайте основные причинные веса DiT из корня репозитория.

  2. Подготовка ресурсов: Отдельно приобретите и подготовьте соответствующие ресурсы, такие как VAE, Qwen и причинный декодер.

  3. Настройка окружения: Следуйте инструкциям в README.md и docs/INFERENCE.md в сопутствующем репозитории CodeWorldModel.

  4. Подготовка пакета: Создайте пакет вывода, как указано в сопутствующем репозитории.

  5. Запуск службы или выполнение вывода: Инициализируйте службу сессий WebSocket или выполните файловый вывод с помощью invoker_render.py.

  6. Предоставление входных данных: Укажите первое изображение RGB 1344×768, прокси-видео 24 FPS и текстовую подсказку.

  • Управляемая генерация видео
  • Создание длинных видео
  • Семантический видеомонтаж
  • Рендеринг 3D-сцен
  • Интерактивные видеоприложения

Отзывы о Invoker-Render

Загрузка...

Популярные ИИ-инструменты, похожие на Invoker-Render

Muse Glimmer

AI-модели

Muse Glimmer — это языковая модель с причинно-следственной связью, содержащая 30 миллиардов параметров, предназначенная для автономных агентских задач на потребительском…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Языковая модель с причинно-следственной связью, содержащая 30 миллиардов параметров, предназначенная для автономных агентских задач на потребительском…Muse Glimmer — это языковая модель с причинно-следственной связью, содержащая 30 миллиардов параметров, предназначенная для автономных агентских задач на потребительском…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели

VideoPoet

AI-модели

VideoPoet — это большая языковая модель от Google Research, способная генерировать видео в режиме zero-shot. Она трансформирует авторегрессионные языковые модели в…

ИИ-генераторы видео
Открыть инструмент

AI-модели

Большая языковая модель от Google Research, способная генерировать видео в режиме zero-shot. Она трансформирует авторегрессионные языковые модели в…VideoPoet — это большая языковая модель от Google Research, способная генерировать видео в режиме zero-shot. Она трансформирует авторегрессионные языковые модели в…

ИИ-генераторы видео
Топ-5: AI-модели

SenseNova 6.8 Code2Video — это модель создания видео на основе кода, которая генерирует исполняемый код для создания и рендеринга коротких видео. Она соединяет различные модели и…

ИИ-модели и LLM

№77 в LLM

Открыть инструмент

Модель создания видео на основе кода, которая генерирует исполняемый код для создания и рендеринга коротких видео. Она соединяет различные модели и…SenseNova 6.8 Code2Video — это модель создания видео на основе кода, которая генерирует исполняемый код для создания и рендеринга коротких видео. Она соединяет различные модели и…

ИИ-модели и LLM
№77 в LLM

Imagen Video

AI-модели

Imagen Video — это система генерации видео на основе текстовых условий, разработанная Google Research. Она использует каскад диффузионных моделей для создания видео высокой…

ИИ-генераторы видео
Открыть инструмент

AI-модели

Система генерации видео на основе текстовых условий, разработанная Google Research. Она использует каскад диффузионных моделей для создания видео высокой…Imagen Video — это система генерации видео на основе текстовых условий, разработанная Google Research. Она использует каскад диффузионных моделей для создания видео высокой…

ИИ-генераторы видео
Топ-5: AI-модели

Linum P-JiT

AI-приложения

Linum P-JiT — это экспериментальная модель текст-в-изображение с 2B параметрами, разработанная Linum, двухчленной исследовательской лабораторией, сосредоточенной на генеративных…

ИИ-модели и LLM
Открыть инструмент

AI-приложения

Экспериментальная модель текст-в-изображение с 2B параметрами, разработанная Linum, двухчленной исследовательской лабораторией, сосредоточенной на генеративных…Linum P-JiT — это экспериментальная модель текст-в-изображение с 2B параметрами, разработанная Linum, двухчленной исследовательской лабораторией, сосредоточенной на генеративных…

ИИ-модели и LLM
Топ-250: AI-приложения

Flux 3 AI Video Generator

AI-приложения

Flux 3 — это генератор видео на основе ИИ, который создает видео из текста, изображений или референсных клипов. Он предлагает встроенный звук, естественное движение и многоязычный…

ИИ-генераторы видеоМедиа и развлечения
Открыть инструмент

AI-приложения

Генератор видео на основе ИИ, который создает видео из текста, изображений или референсных клипов. Он предлагает встроенный звук, естественное движение и многоязычный…Flux 3 — это генератор видео на основе ИИ, который создает видео из текста, изображений или референсных клипов. Он предлагает встроенный звук, естественное движение и многоязычный…

ИИ-генераторы видеоМедиа и развлечения
Топ-250: AI-приложения

VideoAI

AI-приложения

VideoAI — это генератор видео на основе ИИ, который превращает текст и изображения в видео, используя ведущие модели, такие как Kling, Wan, Seedance и Veo. Он также предлагает…

ИИ-генераторы видеоМедиа и развлечения

№119 — Написание сценариев для видео

Открыть инструмент

AI-приложения

Генератор видео на основе ИИ, который превращает текст и изображения в видео, используя ведущие модели, такие как Kling, Wan, Seedance и Veo. Он также предлагает…VideoAI — это генератор видео на основе ИИ, который превращает текст и изображения в видео, используя ведущие модели, такие как Kling, Wan, Seedance и Veo. Он также предлагает…

ИИ-генераторы видеоМедиа и развлечения
№119 — Написание сценариев для видео

invideo

AI-приложения

invideo — это платформа для создания и редактирования видео с использованием ИИ, основанная на Agent Two, позволяющая пользователям генерировать и редактировать видео с помощью…

ИИ-генераторы коротких видео

№37 в AI-приложения

Открыть инструмент

AI-приложения

Платформа для создания и редактирования видео с использованием ИИ, основанная на Agent Two, позволяющая пользователям генерировать и редактировать видео с помощью…invideo — это платформа для создания и редактирования видео с использованием ИИ, основанная на Agent Two, позволяющая пользователям генерировать и редактировать видео с помощью…

РекомендованоИИ-генераторы коротких видео
№37 в AI-приложения
1 из 8