Descripción
Hy-Nomas es un modelo avanzado de generación de mundos en video diseñado para facilitar la interacción libre y multi-turno a través de instrucciones de texto y control de cámara. Este modelo genera segmentos de video uno a la vez, permitiendo a los usuarios introducir objetos, cambiar estilos y controlar escenas y ángulos de cámara a medida que avanza la generación. La arquitectura del modelo integra un transformador de difusión autoregresivo por segmentos (DiT), un codificador de texto Qwen, módulos de acondicionamiento de cámara y un decodificador de video PixelUMM. Un caché persistente de clave/valor mantiene el contexto entre segmentos, asegurando continuidad en la generación del mundo.
Leer más
El modelo admite opciones de implementación flexibles, incluyendo una configuración estándar de secuencia-paralela y una configuración de un solo GPU, lo que lo hace accesible para diversas configuraciones de hardware. Los usuarios pueden interactuar con el modelo a través de una demostración web, que muestra sus capacidades en tiempo real. Hy-Nomas también incluye Hy-Nomas-Bench, un conjunto de benchmarks diseñado para evaluar la controlabilidad interactiva y la consistencia durante la generación continua de mundos.
Hy-Nomas realiza difusión en un espacio latente de video comprimido y autoregresión a través de segmentos de video. El texto, el movimiento de la cámara y el historial en caché condicionan la generación de cada nuevo segmento, permitiendo la creación de videos dinámicos e interactivos. La arquitectura del modelo cuenta con 54 bloques MMDiT de doble flujo, con texto y video interactuando a través de atención conjunta causal por segmentos.
Los latentes de video del modelo se representan como latentes DCAE-V, y la tubería de inferencia predeterminada los decodifica con un decodificador PixelUMM ajustado. Esta configuración permite una generación de video eficiente con salida de alta calidad. Hy-Nomas está licenciado bajo Apache-2.0, y los usuarios pueden acceder al modelo y sus componentes a través de la plataforma Hugging Face.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Aspectos destacados de Hy-Nomas
Interacción libre a través de texto y control de cámara
Arquitectura de transformador de difusión autoregresivo por segmentos
Caché persistente de clave/valor para retención de contexto
Implementación flexible con configuraciones estándar y de un solo GPU
Hy-Nomas-Bench para evaluar la controlabilidad interactiva
Difusión en espacio latente de video comprimido
54 bloques MMDiT de doble flujo
Decodificador de video PixelUMM ajustado
Primeros pasos con Hy-Nomas
Acceder al modelo: Visitar Hugging Face
Autenticarse: Configurar cuenta
Configurar el entorno: Preparar hardware y software
Integrar a través de API: Usar los endpoints proporcionados
Optimizar: Ajustar configuraciones para la salida deseada
Casos de uso de Hy-Nomas
- Creación de Video Interactivo
- Desarrollo de Juegos
- Realidad Virtual
- Producción Cinematográfica
- Contenido Educativo










