Beschreibung
Invoker-Render ist ein anspruchsvolles Video-zu-Video-KI-Modell, das von inclusionAI entwickelt wurde und eine hochgradig kontrollierbare Videoerzeugung ermöglicht. Mit 33,12 Milliarden Parametern konzentriert sich dieses Modell auf die Erzeugung von Videoerscheinungen basierend auf strukturellen Proxys, einem einzelnen Erscheinungsreferenzbild und textlichen Aufforderungen. Es funktioniert nach dem Prinzip, den Weltzustand in einer upstream Engine zu halten, wo visuelle Proxys Elemente wie Kamerapfade, Szenenlayouts und Objektbewegungen diktieren, während das Videomodell das visuelle Rendering übernimmt.
Weiterlesen
Der Kern von Invoker-Render liegt in seinen kausalen Streaming-DiT-Gewichten, die in seinem Repository gehostet werden. Das Modell ist so konzipiert, dass es in Verbindung mit dem Begleit-Code von CodeWorldModel für die Inferenz arbeitet und eine kausale vierstufige Streaming-Generierung ermöglicht. Dieses Setup basiert auf robusten Frameworks wie MiniMax-H3, SGLang und SGLang-Omni, die einen effizienten und skalierbaren Betrieb gewährleisten.
Zu den wichtigsten Merkmalen von Invoker-Render gehört die Fähigkeit zum Streaming mit langer Reichweite, die es ermöglicht, dass Sitzungen unbegrenzt laufen, solange Proxy-Frames bereitgestellt werden. Dies wird durch einen festen Erscheinungsanker und ein begrenztes Geschichtsfenster erreicht, das visuelle Konsistenz über längere Zeiträume aufrechterhält. Darüber hinaus bietet das Modell eine Multi-Granularitätskontrolle, die eine breite Palette von strukturellen Eingaben wie semantische Karten, spärliche 3D-Boxen, Subjektmasken, schattierte Geometrie und Boxen mit Skeletten akzeptiert, was den Benutzern eine präzise Kontrolle über den generierten Videoinhalt ermöglicht.
Für die interaktive Bereitstellung bietet der Begleitcode einen WebSocket-Sitzungsdienst, einen Datei-Client und einen Browser-Client, wodurch das Modell für verschiedene Anwendungen zugänglich wird. Die Gewichte des Modells werden im FP32-Format über 29 Safetensors-Shards gespeichert, die insgesamt etwa 132,5 GB umfassen. Während das Repository die Hauptgewichte für das kausale Streaming-DiT enthält, müssen Benutzer passende Assets wie VAE, Qwen, den kausalen Decoder und Stille-Tensoren separat für die Inferenz vorbereiten. Das Standardproduktionsprofil für die Inferenz erfordert typischerweise acht NVIDIA-GPUs auf einem einzelnen Knoten, die Eingaben wie ein 1344×768 RGB-Erstbild, ein 24 FPS-Proxy-Video und eine Textaufforderung verarbeiten.
- KategorieKI-Modelle & LLMs
- BereitstellungCloud
- PlattformenWeb
Invoker-Render im Überblick
Video-zu-Video-Modell: Generiert Videoerscheinungen aus strukturellen Proxys und Eingaben.
33 Milliarden Parameter: Große Modellgröße für fortschrittliche Videoerzeugungsfähigkeiten.
Proxy-bedingtes Rendering: Nutzt visuelle Proxys zur Steuerung von Kamerapfad, Szenenlayout und Objektbewegung.
Eingabe eines Erscheinungsreferenzbildes: Nimmt ein Bild auf, um den visuellen Stil zu leiten.
Eingabe einer Textaufforderung: Akzeptiert textliche Beschreibungen zur Inhaltserzeugung.
Kausale Streaming-DiT-Gewichte: Nutzt spezifische Modellgewichte für die Streaming-Generierung.
Streaming mit langer Reichweite: Unterstützt kontinuierliche Videoerzeugung, während Proxy-Frames ankommen.
Fester Erscheinungsanker: Hält das Erscheinungsbild über lange Sitzungen hinweg konsistent.
Multi-Granularitätskontrolle: Akzeptiert verschiedene strukturelle Eingaben wie semantische Karten, 3D-Boxen und Subjektmasken.
Interaktive Bereitstellung: Begleitcode bietet WebSocket-, Datei- und Browser-Clients.
FP32-Gewichte: Modellgewichte werden in voller Präzision gespeichert.
MiniMax-H3-Basismodell: Basierend auf der MiniMax-H3-Architektur.
Apache-2.0-Lizenz: Regelt die Nutzung des Repositories.
CC BY-NC 4.0-Lizenz: Gilt für die nicht-kommerzielle Nutzung.
Erste Schritte mit Invoker-Render
Zugriff auf Modellgewichte: Laden Sie die Hauptgewichte für das kausale Streaming-DiT aus dem Repository-Stamm herunter.
Assets vorbereiten: Erwerben und bereiten Sie separat passende Assets wie VAE, Qwen und den kausalen Decoder vor.
Umgebung einrichten: Befolgen Sie die README.md und docs/INFERENCE.md im Begleit-Repository von CodeWorldModel.
Bundle vorbereiten: Erstellen Sie ein Inferenz-Bundle gemäß den Anweisungen im Begleit-Repository.
Dienst starten oder Inferenz ausführen: Starten Sie den WebSocket-Sitzungsdienst oder führen Sie die Datei-Inferenz mit invoker_render.py aus.
Eingaben bereitstellen: Stellen Sie ein 1344×768 RGB-Erstbild, ein 24 FPS-Proxy-Video und eine Textaufforderung zur Verfügung.
Invoker-Render's Anwendungsfälle
- Kontrollierbare Videoerzeugung
- Langformatige Videoerstellung
- Semantische Video-Bearbeitung
- 3D-Szenen-Rendering
- Interaktive Video-Anwendungen




