Beschreibung
daVinci-MagiHuman ist ein Open-Source-KI-Modell mit 15 Milliarden Parametern, das synchronisierte Sprechvideos aus einem einzigen Foto erzeugt. Sie laden ein Porträt hoch, fügen ein Skript oder Audio hinzu und erhalten einen natürlichen Sprechclip, bei dem Audio und Video gemeinsam generiert werden, anstatt aus separaten Pipelines zusammengenäht zu werden. Es wurde von Sand.ai und dem GAIR Lab (Shanghai Jiao Tong University) entwickelt und unter der Apache 2.0-Lizenz veröffentlicht, sodass die Gewichte eingesehen, lokal ausgeführt und kommerziell innerhalb der Lizenz genutzt werden können.
Weiterlesen
Das Modell verwendet einen Single-Stream-Transformer, der Video- und Audio-Token gemeinsam mit einem latenten Referenzbild entstört und ein einheitliches Audio-Video-Output aus einem Gesichtsbild plus Text oder Audio erzeugt. Auf einer einzelnen NVIDIA H100-GPU kann es einen kurzen 256p-Clip in etwa zwei Sekunden Wandzeit generieren, und veröffentlichte Bewertungen berichten von starken Wortfehlerquoten und hoher menschlicher Präferenz im Vergleich zu Baselines wie Ovi 1.1 und LTX 2.3.
Benutzer können es über eine kostenlose Online-Demo ausprobieren, die Checkpoints von Hugging Face herunterladen oder das GitHub-Repository klonen, um es selbst zu hosten und Inferenz mit benutzerdefinierten Einstellungen und Auflösungen bis zu 1080p auszuführen. Es unterstützt mehrere Sprachen für die Lippenbewegung, abhängig von den veröffentlichten Trainingsdaten.
Der gehostete Dienst bietet eine kostenlose Stufe mit Starter- und täglichen Check-in-Guthaben (15-tägiger temporärer Speicher) sowie Basic-, Pro- und Max-Guthabenplänen, die HD-Generierung, priorisierte Verarbeitung, permanente Asset-Speicherung und kommerzielle Nutzungsrechte hinzufügen.
- KategorieKI-Modelle & LLMs
- PreismodellFreemium
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
daVinci-MagiHuman im Überblick
Generierung von Sprechvideos aus einem Einzelbild mit Lippenbewegung
Einheitliches Audio und Video, die zusammen in einem Modell-Durchgang generiert werden
15B-Parameter Single-Stream-Transformer-Architektur
Open Source unter der Apache 2.0-Lizenz
Schnelle Inferenz (~2s für einen ~2s 256p Clip auf einem H100)
Mehrsprachige Lippenbewegung abhängig von den Trainingsdaten
Selbsthosting über Hugging Face und GitHub oder eine gehostete Online-Demo
Ausgabeauflösungen bis zu 1080p
Erste Schritte mit daVinci-MagiHuman
Laden Sie ein Porträt hoch: Fügen Sie ein klares, frontal ausgerichtetes Gesichtsfoto hinzu.
Fügen Sie ein Skript oder Audio hinzu: Geben Sie Text ein oder laden Sie eine Audiodatei hoch, um die Sprache zu steuern.
Wählen Sie die Auflösung: Wählen Sie eine Ausgabeauflösung wie 256p, 720p oder 1080p.
Generieren: Führen Sie das Modell aus, um den synchronisierten Clip zu erstellen.
Herunterladen: Speichern Sie das fertige Sprechvideo oder hosten Sie es selbst über Hugging Face oder GitHub.
daVinci-MagiHuman's Anwendungsfälle
- Sprechende Avatar-Videos
- Selbstgehostete Generierung
- Mehrsprachige Synchronisation
- Forschung und Benchmarking
- Inhaltserstellung
