説明
daVinci-MagiHumanは、1枚の写真からリップシンクされたトーキングビデオを生成する、150億パラメータのオープンソースAIモデルです。ポートレートをアップロードし、スクリプトまたは音声を追加すると、音声とビデオが別々のパイプラインからつなぎ合わされるのではなく、一緒に生成された自然なトーキングクリップが得られます。これは、Sand.aiとGAIR Lab(上海交通大学)によって開発され、Apache 2.0ライセンスの下でリリースされているため、重みを検査し、ローカルで実行し、ライセンス内で商業利用することができます。
続きを読む
このモデルは、単一ストリームのTransformerを使用して、参照画像の潜在変数を用いてビデオと音声トークンを共同でノイズ除去し、顔写真とテキストまたは音声から統一された音声ビデオ出力を生成します。単一のNVIDIA H100 GPU上で、約2秒の壁時間で256pの短いクリップを生成でき、公開された評価では、Ovi 1.1やLTX 2.3などのベースラインに対して強い単語誤り率と高い人間の好みが報告されています。
ユーザーは、無料のオンラインデモを通じて試すことができ、Hugging Faceからチェックポイントをダウンロードするか、GitHubリポジトリをクローンして自己ホスティングし、カスタム設定や最大1080pの解像度で推論を実行できます。リリースされたトレーニングデータに応じて、リップシンクのための複数の言語をサポートしています。
ホスティングサービスは、スターターおよびデイリーチェックインのクレジット(15日間の一時ストレージ)を含む無料プランに加え、HD生成、優先処理、永久的なアセットストレージ、商業利用権を追加するBasic、Pro、Maxのクレジットプランを提供しています。
- カテゴリーAIモデルとLLM
- 料金モデルフリーミアム
- デプロイクラウド, セルフホスト
- プラットフォームWeb
daVinci-MagiHumanのハイライト
リップシンク付きの単一写真からのトーキングビデオ生成
1つのモデルパスで同時に生成される統一された音声とビデオ
150Bパラメータの単一ストリームTransformerアーキテクチャ
Apache 2.0ライセンスの下でオープンソース
高速推論(H100で約2秒の256pクリップ)
トレーニングデータに応じた多言語リップシンク
Hugging FaceやGitHubを介した自己ホスティング、またはホスティングされたオンラインデモ
最大1080pの出力解像度
daVinci-MagiHumanをはじめる
ポートレートをアップロード: 明確で正面を向いた顔写真を追加します。
スクリプトまたは音声を追加: テキストを入力するか、音声ファイルをアップロードしてスピーチを駆動します。
解像度を選択: 256p、720p、または1080pなどの出力解像度を選択します。
生成: モデルを実行してリップシンクされたクリップを作成します。
ダウンロード: 完成したトーキングビデオを保存するか、Hugging FaceまたはGitHubから自己ホスティングします。
daVinci-MagiHumanの使用例
- トーキングアバタービデオ
- 自己ホスティング生成
- 多言語ダビング
- 研究とベンチマーキング
- コンテンツ制作




