Beschreibung
Hy-Nomas ist ein fortschrittliches Modell zur Generierung von Videowelten, das entwickelt wurde, um eine freie, mehrstufige Interaktion durch Textanweisungen und Kamerasteuerung zu ermöglichen. Dieses Modell generiert Videosegmente nacheinander, sodass Nutzer Objekte einführen, Stile ändern und Szenen sowie Kamerawinkel während des Generierungsprozesses steuern können. Die Modellarchitektur integriert einen segment-autoregressiven Diffusions-Transformer (DiT), einen Qwen-Text-Encoder, Kamerabedingungs-Module und einen PixelUMM-Videodecoder. Ein persistenter Schlüssel/Wert-Cache erhält den Kontext zwischen den Segmenten und gewährleistet die Kontinuität in der Weltgenerierung.
Weiterlesen
Das Modell unterstützt flexible Bereitstellungsoptionen, einschließlich einer Standard-Sequenz-parallelen Konfiguration und einer Single-GPU-Konfiguration, was es für verschiedene Hardware-Setups zugänglich macht. Nutzer können über eine Web-Demo mit dem Modell interagieren, die seine Fähigkeiten in Echtzeit demonstriert. Hy-Nomas umfasst auch Hy-Nomas-Bench, eine Suite von Benchmarks, die entwickelt wurde, um die interaktive Steuerbarkeit und Konsistenz während der kontinuierlichen Weltgenerierung zu bewerten.
Hy-Nomas führt Diffusion in einem komprimierten Video-Latentraum durch und verwendet Autoregression über Videosegmente. Text, Kamerabewegung und zwischengespeicherte Historie bedingen die Generierung jedes neuen Segments, was eine dynamische und interaktive Videoproduktion ermöglicht. Die Architektur des Modells umfasst 54 Dual-Stream-MMDiT-Blöcke, wobei Text und Video durch segmentweise kausale gemeinsame Aufmerksamkeit interagieren.
Die Video-Latents des Modells werden als DCAE-V-Latents dargestellt, und die Standard-Inferenzpipeline dekodiert sie mit einem feinabgestimmten PixelUMM-Decoder. Diese Konfiguration ermöglicht eine effiziente Videogenerierung mit hochwertigem Output. Hy-Nomas ist unter Apache-2.0 lizenziert, und Nutzer können auf das Modell und seine Komponenten über die Hugging Face-Plattform zugreifen.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
Hy-Nomas im Überblick
Freie Interaktion durch Text- und Kamerasteuerung
Segment-autoregressive Diffusions-Transformer-Architektur
Persistenter Schlüssel/Wert-Cache zur Kontextbeibehaltung
Flexible Bereitstellung mit Standard- und Single-GPU-Konfigurationen
Hy-Nomas-Bench zur Bewertung der interaktiven Steuerbarkeit
Diffusion im komprimierten Video-Latentraum
54 Dual-Stream-MMDiT-Blöcke
Feinabgestimmter PixelUMM-Videodecoder
Erste Schritte mit Hy-Nomas
Modell zugreifen: Besuchen Sie Hugging Face
Authentifizieren: Konto einrichten
Umgebung einrichten: Hardware und Software vorbereiten
Integration über API: Verwenden Sie die bereitgestellten Endpunkte
Optimieren: Einstellungen für das gewünschte Ergebnis anpassen
Hy-Nomas's Anwendungsfälle
- Interaktive Videoproduktion
- Spieleentwicklung
- Virtuelle Realität
- Filmproduktion
- Bildungsinhalte










