Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Hy-Nomas

Hy-Nomas est un modèle de génération de mondes vidéo qui permet une interaction libre et multi-tours via des instructions textuelles et le contrôle de la caméra. Il génère des segments vidéo, permettant aux utilisateurs d'introduire des objets, de changer de styles et de contrôler la caméra, améliorant ainsi la création de mondes interactifs.

Voir le modèle
Partager
Voir le modèle
Partager

Hy-Nomas est un modèle avancé de génération de mondes vidéo conçu pour faciliter une interaction libre et multi-tours via des instructions textuelles et le contrôle de la caméra. Ce modèle génère des segments vidéo un à un, permettant aux utilisateurs d'introduire des objets, de changer de styles et de contrôler les scènes et les angles de caméra au fur et à mesure de la génération. L'architecture du modèle intègre un transformateur de diffusion autoregressif par segment (DiT), un encodeur de texte Qwen, des modules de conditionnement de caméra et un décodeur vidéo PixelUMM. Un cache clé/valeur persistant maintient le contexte entre les segments, garantissant la continuité dans la génération de mondes.

Lire la suite

Le modèle prend en charge des options de déploiement flexibles, y compris une configuration standard séquence-parallèle et une configuration à GPU unique, le rendant accessible pour divers matériels. Les utilisateurs peuvent interagir avec le modèle via une démo web, qui met en avant ses capacités en temps réel. Hy-Nomas comprend également Hy-Nomas-Bench, une suite de benchmarks conçue pour évaluer la contrôlabilité interactive et la cohérence lors de la génération continue de mondes.

Hy-Nomas effectue une diffusion dans un espace latent vidéo compressé et une autoregression à travers les segments vidéo. Le texte, le mouvement de la caméra et l'historique mis en cache conditionnent la génération de chaque nouveau segment, permettant une création vidéo dynamique et interactive. L'architecture du modèle comprend 54 blocs MMDiT à double flux, avec une interaction entre le texte et la vidéo via une attention conjointe causale segment par segment.

Les latents vidéo du modèle sont représentés comme des latents DCAE-V, et le pipeline d'inférence par défaut les décode avec un décodeur PixelUMM affiné. Cette configuration permet une génération vidéo efficace avec une sortie de haute qualité. Hy-Nomas est sous licence Apache-2.0, et les utilisateurs peuvent accéder au modèle et à ses composants via la plateforme Hugging Face.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementCloud, Auto-hébergé
  • PlateformesWeb

  • Interaction libre via des instructions textuelles et le contrôle de la caméra

  • Architecture de transformateur de diffusion autoregressif par segment

  • Cache clé/valeur persistant pour la rétention du contexte

  • Déploiement flexible avec des configurations standard et à GPU unique

  • Hy-Nomas-Bench pour évaluer la contrôlabilité interactive

  • Diffusion dans un espace latent vidéo compressé

  • 54 blocs MMDiT à double flux

  • Décodeur vidéo PixelUMM affiné

  1. Accéder au modèle : Visitez Hugging Face

  2. Authentifier : Créez un compte

  3. Configurer l'environnement : Préparez le matériel et le logiciel

  4. Intégrer via l'API : Utilisez les points de terminaison fournis

  5. Optimiser : Ajustez les paramètres pour la sortie désirée

  • Création de Vidéo Interactive
  • Développement de Jeux
  • Réalité Virtuelle
  • Production Cinématographique
  • Contenu Éducatif

Outils IA populaires comme Hy-Nomas

Ideogram 4

Modèles IA

Ideogram 4 est un modèle de pointe de génération d'images à partir de texte, offrant un contrôle sans précédent sur la composition, le style et la mise en page des images. Il…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Modèle de pointe de génération d'images à partir de texte, offrant un contrôle sans précédent sur la composition, le style et la mise en page des images. Il…Ideogram 4 est un modèle de pointe de génération d'images à partir de texte, offrant un contrôle sans précédent sur la composition, le style et la mise en page des images. Il…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

daVinci-MagiHuman est un modèle d'IA open-source qui transforme une seule photo de portrait ainsi qu'un script ou un audio en une vidéo parlante synchronisée sur les lèvres,…

Modèles d'IA et LLMMédias et divertissement
Voir l'outil

Modèle d'IA open-source qui transforme une seule photo de portrait ainsi qu'un script ou un audio en une vidéo parlante synchronisée sur les lèvres,…daVinci-MagiHuman est un modèle d'IA open-source qui transforme une seule photo de portrait ainsi qu'un script ou un audio en une vidéo parlante synchronisée sur les lèvres,…

Modèles d'IA et LLMMédias et divertissement
Voir le Top 5 Modèles IA

Cosmos3-Edge

Modèles IA

Cosmos3-Edge par NVIDIA est un modèle d'IA multimodal conçu pour des applications d'IA physique. Il génère des sorties dynamiques à partir de textes, d'images et de vidéos,…

Modèles d'IA et LLMAutomobile
Voir l'outil

Modèles IA

Cosmos3-Edge par NVIDIA est un modèle d'IA multimodal conçu pour des applications d'IA physique. Il génère des sorties dynamiques à partir de textes, d'images et de vidéos,…

Modèles d'IA et LLMAutomobile
Voir le Top 5 Modèles IA

FFMPerative-7B

Modèles IA

FFMPerative-7B est un LLM Llama 2 7B affiné pour les flux de travail de production vidéo. Il permet aux utilisateurs de contrôler les tâches de montage vidéo via des commandes en…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

LLM Llama 2 7B affiné pour les flux de travail de production vidéo. Il permet aux utilisateurs de contrôler les tâches de montage vidéo via des commandes en…FFMPerative-7B est un LLM Llama 2 7B affiné pour les flux de travail de production vidéo. Il permet aux utilisateurs de contrôler les tâches de montage vidéo via des commandes en…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

IA Gratuite de Conversion d'Image en Vidéo est un générateur de vidéos multi-modèles qui permet aux utilisateurs de créer des vidéos à partir de texte, d'images ou de keyframes.…

Générateurs de vidéos IA
Voir l'outil

Générateur de vidéos multi-modèles qui permet aux utilisateurs de créer des vidéos à partir de texte, d'images ou de keyframes.…IA Gratuite de Conversion d'Image en Vidéo est un générateur de vidéos multi-modèles qui permet aux utilisateurs de créer des vidéos à partir de texte, d'images ou de keyframes.…

Générateurs de vidéos IA
Voir le Top 250 Applications IA

Higgsfield

Applications IA

Higgsfield est une suite créative native de l'IA pour générer des images, des vidéos et du contenu vocal à partir de prompts textuels ou de références. Elle est conçue pour les…

Générateurs de vidéos IA

N°22 en Applications IA

Voir l'outil

Applications IA

Suite créative native de l'IA pour générer des images, des vidéos et du contenu vocal à partir de prompts textuels ou de références. Elle est conçue pour les…Higgsfield est une suite créative native de l'IA pour générer des images, des vidéos et du contenu vocal à partir de prompts textuels ou de références. Elle est conçue pour les…

En vedetteGénérateurs de vidéos IA
N°22 en Applications IA

Wan 2.2

Applications IA

Un modèle de génération vidéo Mixture-of-Experts open-source du laboratoire Tongyi d'Alibaba pour la création de vidéos à partir de texte et d'images jusqu'à 720p, avec un…

Générateurs de vidéos IAMédias et divertissement

N°194 en Générateurs de vidéos IA

Voir l'outil

Applications IA

Un modèle de génération vidéo Mixture-of-Experts open-source du laboratoire Tongyi d'Alibaba pour la création de vidéos à partir de texte et d'images jusqu'à 720p, avec un…

Générateurs de vidéos IAMédias et divertissement
N°194 en Générateurs de vidéos IA

insMind AI Video Generator est un outil en ligne tout-en-un qui transforme du texte, des images ou des invites en vidéos cinématographiques générées par IA en utilisant plusieurs…

Générateurs de vidéos IAAgences de marketing et de création
Voir l'outil

Outil en ligne tout-en-un qui transforme du texte, des images ou des invites en vidéos cinématographiques générées par IA en utilisant plusieurs…insMind AI Video Generator est un outil en ligne tout-en-un qui transforme du texte, des images ou des invites en vidéos cinématographiques générées par IA en utilisant plusieurs…

Générateurs de vidéos IAAgences de marketing et de création
Voir le Top 250 Applications IA
1 sur 8