Описание
Hy-Nomas — это продвинутая модель генерации видео миров, разработанная для облегчения свободного многоходового взаимодействия через текстовые инструкции и управление камерой. Эта модель генерирует видеосегменты по одному, позволяя пользователям вводить объекты, изменять стили и управлять сценами и углами камеры по мере прогресса генерации. Архитектура модели интегрирует сегментный авторегрессионный диффузионный трансформер (DiT), текстовый кодировщик Qwen, модули управления камерой и декодер видео PixelUMM. Постоянный кэш ключей/значений поддерживает контекст между сегментами, обеспечивая непрерывность в генерации миров.
Читать далее
Модель поддерживает гибкие варианты развертывания, включая стандартную последовательную параллельную конфигурацию и конфигурацию с одним GPU, что делает ее доступной для различных аппаратных настроек. Пользователи могут взаимодействовать с моделью через веб-демонстрацию, которая демонстрирует ее возможности в реальном времени. Hy-Nomas также включает Hy-Nomas-Bench, набор тестов, предназначенных для оценки интерактивной управляемости и согласованности во время непрерывной генерации миров.
Hy-Nomas выполняет диффузию в сжатом латентном пространстве видео и авторегрессию по видеосегментам. Текст, движение камеры и кэшированная история определяют генерацию каждого нового сегмента, позволяя создавать динамическое и интерактивное видео. Архитектура модели включает 54 блока MMDiT с двойным потоком, где текст и видео взаимодействуют через сегментное причинно-следственное совместное внимание.
Латенты видео модели представлены как латенты DCAE-V, а стандартный процесс вывода декодирует их с помощью тонко настроенного декодера PixelUMM. Эта настройка позволяет эффективно генерировать видео с высоким качеством вывода. Hy-Nomas лицензируется по лицензии Apache-2.0, и пользователи могут получить доступ к модели и ее компонентам через платформу Hugging Face.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Главное о Hy-Nomas
Свободное взаимодействие через текст и управление камерой
Архитектура сегментного авторегрессионного диффузионного трансформера
Постоянный кэш ключей/значений для сохранения контекста
Гибкое развертывание с стандартными и одногрупповыми конфигурациями
Hy-Nomas-Bench для оценки интерактивной управляемости
Диффузия в сжатом латентном пространстве видео
54 блока MMDiT с двойным потоком
Тонко настроенный декодер видео PixelUMM
Начало работы с Hy-Nomas
Доступ к модели: посетите Hugging Face
Аутентификация: создайте учетную запись
Настройка окружения: подготовьте аппаратное и программное обеспечение
Интеграция через API: используйте предоставленные конечные точки
Оптимизация: настройте параметры для желаемого вывода
Варианты использования Hy-Nomas
- Интерактивное создание видео
- Разработка игр
- Виртуальная реальность
- Кинопроизводство
- Образовательный контент










