Descrição
Hy-Nomas é um modelo avançado de geração de mundos em vídeo projetado para facilitar a interação livre e multi-turno através de instruções de texto e controle de câmera. Este modelo gera segmentos de vídeo um de cada vez, permitindo que os usuários introduzam objetos, mudem estilos e controlem cenas e ângulos de câmera à medida que a geração avança. A arquitetura do modelo integra um transformador de difusão autoregressivo de segmentos (DiT), um codificador de texto Qwen, módulos de condicionamento de câmera e um decodificador de vídeo PixelUMM. Um cache persistente de chave/valor mantém o contexto entre os segmentos, garantindo continuidade na geração do mundo.
Ler mais
O modelo suporta opções de implantação flexíveis, incluindo uma configuração padrão de sequência-paralela e uma configuração de GPU única, tornando-o acessível para várias configurações de hardware. Os usuários podem interagir com o modelo através de uma demonstração na web, que mostra suas capacidades em tempo real. Hy-Nomas também inclui o Hy-Nomas-Bench, um conjunto de benchmarks projetados para avaliar a controlabilidade interativa e a consistência durante a geração contínua de mundos.
Hy-Nomas realiza difusão em um espaço latente de vídeo comprimido e autoregressão entre segmentos de vídeo. Texto, movimento da câmera e histórico em cache condicionam a geração de cada novo segmento, permitindo a criação dinâmica e interativa de vídeos. A arquitetura do modelo apresenta 54 blocos MMDiT de fluxo duplo, com texto e vídeo interagindo através de atenção conjunta causal por segmento.
Os latentes de vídeo do modelo são representados como latentes DCAE-V, e o pipeline de inferência padrão os decodifica com um decodificador PixelUMM ajustado. Essa configuração permite uma geração de vídeo eficiente com saída de alta qualidade. Hy-Nomas é licenciado sob Apache-2.0, e os usuários podem acessar o modelo e seus componentes através da plataforma Hugging Face.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Destaques de Hy-Nomas
Interação livre através de texto e controle de câmera
Arquitetura de transformador de difusão autoregressivo de segmentos
Cache persistente de chave/valor para retenção de contexto
Implantação flexível com configurações padrão e de GPU única
Hy-Nomas-Bench para avaliar a controlabilidade interativa
Difusão em espaço latente de vídeo comprimido
54 blocos MMDiT de fluxo duplo
Decodificador de vídeo PixelUMM ajustado
Primeiros passos com Hy-Nomas
Acessar modelo: Visite Hugging Face
Autenticar: Configurar conta
Configurar ambiente: Preparar hardware e software
Integrar via API: Usar endpoints fornecidos
Otimizar: Ajustar configurações para saída desejada
Casos de uso de Hy-Nomas
- Criação de Vídeo Interativo
- Desenvolvimento de Jogos
- Realidade Virtual
- Produção de Filmes
- Conteúdo Educacional










