Description
Hy-Nomas est un modèle avancé de génération de mondes vidéo conçu pour faciliter une interaction libre et multi-tours via des instructions textuelles et le contrôle de la caméra. Ce modèle génère des segments vidéo un à un, permettant aux utilisateurs d'introduire des objets, de changer de styles et de contrôler les scènes et les angles de caméra au fur et à mesure de la génération. L'architecture du modèle intègre un transformateur de diffusion autoregressif par segment (DiT), un encodeur de texte Qwen, des modules de conditionnement de caméra et un décodeur vidéo PixelUMM. Un cache clé/valeur persistant maintient le contexte entre les segments, garantissant la continuité dans la génération de mondes.
Lire la suite
Le modèle prend en charge des options de déploiement flexibles, y compris une configuration standard séquence-parallèle et une configuration à GPU unique, le rendant accessible pour divers matériels. Les utilisateurs peuvent interagir avec le modèle via une démo web, qui met en avant ses capacités en temps réel. Hy-Nomas comprend également Hy-Nomas-Bench, une suite de benchmarks conçue pour évaluer la contrôlabilité interactive et la cohérence lors de la génération continue de mondes.
Hy-Nomas effectue une diffusion dans un espace latent vidéo compressé et une autoregression à travers les segments vidéo. Le texte, le mouvement de la caméra et l'historique mis en cache conditionnent la génération de chaque nouveau segment, permettant une création vidéo dynamique et interactive. L'architecture du modèle comprend 54 blocs MMDiT à double flux, avec une interaction entre le texte et la vidéo via une attention conjointe causale segment par segment.
Les latents vidéo du modèle sont représentés comme des latents DCAE-V, et le pipeline d'inférence par défaut les décode avec un décodeur PixelUMM affiné. Cette configuration permet une génération vidéo efficace avec une sortie de haute qualité. Hy-Nomas est sous licence Apache-2.0, et les utilisateurs peuvent accéder au modèle et à ses composants via la plateforme Hugging Face.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Points forts de Hy-Nomas
Interaction libre via des instructions textuelles et le contrôle de la caméra
Architecture de transformateur de diffusion autoregressif par segment
Cache clé/valeur persistant pour la rétention du contexte
Déploiement flexible avec des configurations standard et à GPU unique
Hy-Nomas-Bench pour évaluer la contrôlabilité interactive
Diffusion dans un espace latent vidéo compressé
54 blocs MMDiT à double flux
Décodeur vidéo PixelUMM affiné
Premiers pas avec Hy-Nomas
Accéder au modèle : Visitez Hugging Face
Authentifier : Créez un compte
Configurer l'environnement : Préparez le matériel et le logiciel
Intégrer via l'API : Utilisez les points de terminaison fournis
Optimiser : Ajustez les paramètres pour la sortie désirée
Cas d'utilisation de Hy-Nomas
- Création de Vidéo Interactive
- Développement de Jeux
- Réalité Virtuelle
- Production Cinématographique
- Contenu Éducatif










