Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Invoker-Render

Invoker-Render ist ein Video-zu-Video-KI-Modell mit 33 Milliarden Parametern, das für die kontrollierbare Videoerzeugung entwickelt wurde. Es nutzt visuelle Proxys, um Kamerapfade, Szenenlayouts und Objektbewegungen zu fixieren, und generiert dann Erscheinungen basierend auf diesen strukturellen Eingaben, einem Erscheinungsreferenzbild und Textaufforderungen. Das Modell unterstützt Streaming mit langer Reichweite und Multi-Granularitätskontrolle für verschiedene Video-Rendering-Aufgaben.

Modell ansehen
Teilen
Modell ansehen
Teilen

Invoker-Render ist ein anspruchsvolles Video-zu-Video-KI-Modell, das von inclusionAI entwickelt wurde und eine hochgradig kontrollierbare Videoerzeugung ermöglicht. Mit 33,12 Milliarden Parametern konzentriert sich dieses Modell auf die Erzeugung von Videoerscheinungen basierend auf strukturellen Proxys, einem einzelnen Erscheinungsreferenzbild und textlichen Aufforderungen. Es funktioniert nach dem Prinzip, den Weltzustand in einer upstream Engine zu halten, wo visuelle Proxys Elemente wie Kamerapfade, Szenenlayouts und Objektbewegungen diktieren, während das Videomodell das visuelle Rendering übernimmt.

Weiterlesen

Der Kern von Invoker-Render liegt in seinen kausalen Streaming-DiT-Gewichten, die in seinem Repository gehostet werden. Das Modell ist so konzipiert, dass es in Verbindung mit dem Begleit-Code von CodeWorldModel für die Inferenz arbeitet und eine kausale vierstufige Streaming-Generierung ermöglicht. Dieses Setup basiert auf robusten Frameworks wie MiniMax-H3, SGLang und SGLang-Omni, die einen effizienten und skalierbaren Betrieb gewährleisten.

Zu den wichtigsten Merkmalen von Invoker-Render gehört die Fähigkeit zum Streaming mit langer Reichweite, die es ermöglicht, dass Sitzungen unbegrenzt laufen, solange Proxy-Frames bereitgestellt werden. Dies wird durch einen festen Erscheinungsanker und ein begrenztes Geschichtsfenster erreicht, das visuelle Konsistenz über längere Zeiträume aufrechterhält. Darüber hinaus bietet das Modell eine Multi-Granularitätskontrolle, die eine breite Palette von strukturellen Eingaben wie semantische Karten, spärliche 3D-Boxen, Subjektmasken, schattierte Geometrie und Boxen mit Skeletten akzeptiert, was den Benutzern eine präzise Kontrolle über den generierten Videoinhalt ermöglicht.

Für die interaktive Bereitstellung bietet der Begleitcode einen WebSocket-Sitzungsdienst, einen Datei-Client und einen Browser-Client, wodurch das Modell für verschiedene Anwendungen zugänglich wird. Die Gewichte des Modells werden im FP32-Format über 29 Safetensors-Shards gespeichert, die insgesamt etwa 132,5 GB umfassen. Während das Repository die Hauptgewichte für das kausale Streaming-DiT enthält, müssen Benutzer passende Assets wie VAE, Qwen, den kausalen Decoder und Stille-Tensoren separat für die Inferenz vorbereiten. Das Standardproduktionsprofil für die Inferenz erfordert typischerweise acht NVIDIA-GPUs auf einem einzelnen Knoten, die Eingaben wie ein 1344×768 RGB-Erstbild, ein 24 FPS-Proxy-Video und eine Textaufforderung verarbeiten.

  • KategorieKI-Modelle & LLMs
  • BereitstellungCloud
  • PlattformenWeb

  • Video-zu-Video-Modell: Generiert Videoerscheinungen aus strukturellen Proxys und Eingaben.

  • 33 Milliarden Parameter: Große Modellgröße für fortschrittliche Videoerzeugungsfähigkeiten.

  • Proxy-bedingtes Rendering: Nutzt visuelle Proxys zur Steuerung von Kamerapfad, Szenenlayout und Objektbewegung.

  • Eingabe eines Erscheinungsreferenzbildes: Nimmt ein Bild auf, um den visuellen Stil zu leiten.

  • Eingabe einer Textaufforderung: Akzeptiert textliche Beschreibungen zur Inhaltserzeugung.

  • Kausale Streaming-DiT-Gewichte: Nutzt spezifische Modellgewichte für die Streaming-Generierung.

  • Streaming mit langer Reichweite: Unterstützt kontinuierliche Videoerzeugung, während Proxy-Frames ankommen.

  • Fester Erscheinungsanker: Hält das Erscheinungsbild über lange Sitzungen hinweg konsistent.

  • Multi-Granularitätskontrolle: Akzeptiert verschiedene strukturelle Eingaben wie semantische Karten, 3D-Boxen und Subjektmasken.

  • Interaktive Bereitstellung: Begleitcode bietet WebSocket-, Datei- und Browser-Clients.

  • FP32-Gewichte: Modellgewichte werden in voller Präzision gespeichert.

  • MiniMax-H3-Basismodell: Basierend auf der MiniMax-H3-Architektur.

  • Apache-2.0-Lizenz: Regelt die Nutzung des Repositories.

  • CC BY-NC 4.0-Lizenz: Gilt für die nicht-kommerzielle Nutzung.

  1. Zugriff auf Modellgewichte: Laden Sie die Hauptgewichte für das kausale Streaming-DiT aus dem Repository-Stamm herunter.

  2. Assets vorbereiten: Erwerben und bereiten Sie separat passende Assets wie VAE, Qwen und den kausalen Decoder vor.

  3. Umgebung einrichten: Befolgen Sie die README.md und docs/INFERENCE.md im Begleit-Repository von CodeWorldModel.

  4. Bundle vorbereiten: Erstellen Sie ein Inferenz-Bundle gemäß den Anweisungen im Begleit-Repository.

  5. Dienst starten oder Inferenz ausführen: Starten Sie den WebSocket-Sitzungsdienst oder führen Sie die Datei-Inferenz mit invoker_render.py aus.

  6. Eingaben bereitstellen: Stellen Sie ein 1344×768 RGB-Erstbild, ein 24 FPS-Proxy-Video und eine Textaufforderung zur Verfügung.

  • Kontrollierbare Videoerzeugung
  • Langformatige Videoerstellung
  • Semantische Video-Bearbeitung
  • 3D-Szenen-Rendering
  • Interaktive Video-Anwendungen

Invoker-Render Bewertungen

Wird geladen...

Beliebte KI-Tools wie Invoker-Render

Muse Glimmer

KI-Modelle

Muse Glimmer ist ein 30-Milliarden-Parameter kausales Sprachmodell, das für autonome agentische Aufgaben auf Verbrauchshardware entwickelt wurde. Es integriert mehrstufiges…

KI-Modelle & LLMs
Tool ansehen

KI-Modelle

30-Milliarden-Parameter kausales Sprachmodell, das für autonome agentische Aufgaben auf Verbrauchshardware entwickelt wurde. Es integriert mehrstufiges…Muse Glimmer ist ein 30-Milliarden-Parameter kausales Sprachmodell, das für autonome agentische Aufgaben auf Verbrauchshardware entwickelt wurde. Es integriert mehrstufiges…

EmpfohlenKI-Modelle & LLMs
Top 5 KI-Modelle ansehen

VideoPoet

KI-Modelle

VideoPoet ist ein großes Sprachmodell von Google Research, das zur Zero-Shot-Videogenerierung fähig ist. Es wandelt autoregressive Sprachmodelle in hochwertige Videogeneratoren um…

KI-Videogeneratoren
Tool ansehen

KI-Modelle

Großes Sprachmodell von Google Research, das zur Zero-Shot-Videogenerierung fähig ist. Es wandelt autoregressive Sprachmodelle in hochwertige Videogeneratoren um…VideoPoet ist ein großes Sprachmodell von Google Research, das zur Zero-Shot-Videogenerierung fähig ist. Es wandelt autoregressive Sprachmodelle in hochwertige Videogeneratoren um…

KI-Videogeneratoren
Top 5 KI-Modelle ansehen

SenseNova 6.8 Code2Video ist ein codegesteuertes Videoproduktionsmodell, das ausführbaren Code generiert, um kurze Videos zu erstellen und zu rendern. Es verbindet verschiedene…

KI-Modelle & LLMs

Platz 77 in LLMs

Tool ansehen

Codegesteuertes Videoproduktionsmodell, das ausführbaren Code generiert, um kurze Videos zu erstellen und zu rendern. Es verbindet verschiedene…SenseNova 6.8 Code2Video ist ein codegesteuertes Videoproduktionsmodell, das ausführbaren Code generiert, um kurze Videos zu erstellen und zu rendern. Es verbindet verschiedene…

KI-Modelle & LLMs
Platz 77 in LLMs

Imagen Video

KI-Modelle

Imagen Video ist ein textbasiertes Videosystem zur Generierung von Videos, das von Google Research entwickelt wurde. Es nutzt eine Kaskade von Video-Diffusionsmodellen, um…

KI-Videogeneratoren
Tool ansehen

KI-Modelle

Textbasiertes Videosystem zur Generierung von Videos, das von Google Research entwickelt wurde. Es nutzt eine Kaskade von Video-Diffusionsmodellen, um…Imagen Video ist ein textbasiertes Videosystem zur Generierung von Videos, das von Google Research entwickelt wurde. Es nutzt eine Kaskade von Video-Diffusionsmodellen, um…

KI-Videogeneratoren
Top 5 KI-Modelle ansehen

Linum P-JiT ist ein experimentelles 2B-Parameter Text-zu-Bild-Modell, das von Linum, einem zweiköpfigen Forschungslabor, das sich auf generative Videomodelle konzentriert,…

KI-Modelle & LLMs
Tool ansehen

Experimentelles 2B-Parameter Text-zu-Bild-Modell, das von Linum, einem zweiköpfigen Forschungslabor, das sich auf generative Videomodelle konzentriert,…Linum P-JiT ist ein experimentelles 2B-Parameter Text-zu-Bild-Modell, das von Linum, einem zweiköpfigen Forschungslabor, das sich auf generative Videomodelle konzentriert,…

KI-Modelle & LLMs
Top 250 KI-Apps ansehen

Flux 3 ist ein KI-Video-Generator, der Videos aus Text, Bildern oder Referenzclips erstellt. Er bietet native Audiointegration, natürliche Bewegungen und mehrsprachige Dialoge,…

KI-VideogeneratorenMedien und Unterhaltung
Tool ansehen

KI-Video-Generator, der Videos aus Text, Bildern oder Referenzclips erstellt. Er bietet native Audiointegration, natürliche Bewegungen und mehrsprachige Dialoge,…Flux 3 ist ein KI-Video-Generator, der Videos aus Text, Bildern oder Referenzclips erstellt. Er bietet native Audiointegration, natürliche Bewegungen und mehrsprachige Dialoge,…

KI-VideogeneratorenMedien und Unterhaltung
Top 250 KI-Apps ansehen

VideoAI

KI-Apps

VideoAI ist ein KI-Video-Generator, der Text und Bilder in Videos umwandelt, indem er führende Modelle wie Kling, Wan, Seedance und Veo verwendet. Es bietet auch Bildwerkzeuge und…

KI-VideogeneratorenMedien und Unterhaltung

Platz 119 für Erstellung von Videoskripten

Tool ansehen

KI-Apps

KI-Video-Generator, der Text und Bilder in Videos umwandelt, indem er führende Modelle wie Kling, Wan, Seedance und Veo verwendet. Es bietet auch Bildwerkzeuge und…VideoAI ist ein KI-Video-Generator, der Text und Bilder in Videos umwandelt, indem er führende Modelle wie Kling, Wan, Seedance und Veo verwendet. Es bietet auch Bildwerkzeuge und…

KI-VideogeneratorenMedien und Unterhaltung
Platz 119 für Erstellung von Videoskripten

invideo

KI-Apps

invideo ist eine KI-Videoerstellungs- und Bearbeitungsplattform, die um Agent Two herum aufgebaut ist und es Nutzern ermöglicht, Videos mit mehreren KI-Modellen und über 5.000…

KI-Kurzvideo-Generatoren

Platz 37 in KI-Apps

Tool ansehen

KI-Apps

KI-Videoerstellungs- und Bearbeitungsplattform, die um Agent Two herum aufgebaut ist und es Nutzern ermöglicht, Videos mit mehreren KI-Modellen und über 5.000…invideo ist eine KI-Videoerstellungs- und Bearbeitungsplattform, die um Agent Two herum aufgebaut ist und es Nutzern ermöglicht, Videos mit mehreren KI-Modellen und über 5.000…

EmpfohlenKI-Kurzvideo-Generatoren
Platz 37 in KI-Apps
1 von 8