メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

VideoPoet

VideoPoetは、Google Researchが開発した、ゼロショットビデオ生成が可能な大規模言語モデルです。オートリグレッシブ言語モデルを高品質なビデオジェネレーターに変換し、テキストからビデオ、ビデオからオーディオ、および様々な編集タスクを、印象的な時間的整合性とモーション忠実度でサポートします。

モデルを見る
共有
モデルを見る
共有

VideoPoetは、AI駆動のビデオ合成における重要な進歩を表しており、ゼロショットビデオ生成のために設計された大規模言語モデルとして機能します。その中核的な革新は、あらゆるオートリグレッシブ言語モデルを洗練されたビデオジェネレーターに変換できる、シンプルなモデリング方法にあります。このアプローチにより、テキストプロンプトから高品質なビデオを作成でき、広範囲で興味深く、高忠実度のモーションを生成する顕著な能力を示します。

続きを読む

技術的な基盤として、VideoPoetは事前学習済みのMAGVIT V2ビデオトークナイザーとSoundStreamオーディオトークナイザーを利用しています。これらのコンポーネントは、可変長の画像、ビデオ、オーディオクリップを、統一された語彙内の離散コードに変換します。これらのコードはテキストベースの言語モデルと互換性があり、テキストのような他のモダリティとのシームレスな統合を容易にします。その後、オートリグレッシブ言語モデルは、ビデオ、画像、オーディオ、テキストのモダリティ全体で学習し、シーケンス内の次のビデオまたはオーディオトークンを予測します。トレーニングフレームワークには、テキストからビデオ、テキストから画像、画像からビデオ、ビデオフレーム継続、ビデオインペインティングおよびアウトペインティング、ビデオスタイライゼーション、ビデオからオーディオなど、マルチモーダル生成学習目標の混合が含まれています。これらのタスクを組み合わせることで、テキストからオーディオ生成のような追加のゼロショット機能を実現できます。

VideoPoetの機能は、単純な生成を超えています。テキストプロンプトに基づいて高モーション、可変長のビデオを出力でき、テキストガイダンスなしで入力ビデオに一致するオーディオを生成することもできます。このモデルは、ショートフォームコンテンツに適した、正方形または縦長の向きでのビデオ生成をサポートします。さらに、被写体が異なるモーションやスタイルに従うことを可能にする制御可能なビデオ編集、およびユーザーが生成された候補から選択してモーションタイプを洗練できるインタラクティブ編集に優れています。画像からビデオへの生成も主要な機能であり、入力画像をテキストプロンプトでガイドされたビデオに変換します。ゼロショットスタイライゼーションにより、テキストプロンプトに基づいてビデオが様々な芸術的スタイルを採用できるようになり、制御可能なカメラモーションはプロンプトエンジニアリングを通じて指定でき、ズームアウト、ドリーク、FPVドローンショットのようなエフェクトを可能にします。

このモデルは、特に多様で高忠実度のモーションの生成において、最先端のビデオ生成能力を示しています。1秒間の入力クリップに基づいて1秒間の出力を反復的に予測することで、より長いビデオを生成でき、オブジェクトの同一性を強く保持します。これにより、VideoPoetはビジュアルストーリーテリング、コンテンツ作成、および新しいメディア合成形式の探求のための強力なツールとなります。この研究は、ダイナミックなビジュアルナラティブを作成し、スタイルのエフェクトを容易に適用する可能性を強調しています。

  • カテゴリーAI動画生成ツール
  • デプロイクラウド
  • プラットフォームWeb

  • テキストプロンプトからのゼロショットビデオ生成

  • テキストガイダンスなしのビデオからオーディオ生成

  • テキストからビデオ、テキストから画像、画像からビデオ生成をサポート

  • ビデオフレーム継続、インペインティング、アウトペインティングを可能にする

  • ビデオスタイライゼーションと制御可能なカメラモーションを促進する

  • 可変長のビデオ生成が可能

  • 長いクリップでのオブジェクト同一性の強い保持

  • ショートフォームコンテンツ用の正方形および縦長のビデオ向きをサポート

  • 候補選択によるインタラクティブビデオ編集

  • マルチモーダルタスクのための生成学習目標を組み合わせる

  • MAGVIT V2およびSoundStreamトークナイザーを利用

  • 高モーションおよび高忠実度のビデオコンテンツを出力

  1. モデルへのアクセス: 研究インターフェースまたはAPIを通じてVideoPoetモデルを利用します。

  2. プロンプトの入力: 希望するビデオコンテンツの詳細なテキスト説明を提供します。

  3. パラメータの指定: ビデオの向き(正方形/縦長)と希望する長さを定義します。

  4. ビデオ生成: ビデオシーケンスを作成するために生成プロセスを開始します。

  5. オーディオ生成: オプションで、作成されたビデオに一致するオーディオを生成します。

  6. ビデオ編集: スタイライゼーション、カメラモーション、またはインタラクティブ編集を適用して洗練します。

  7. 統合: 生成されたビデオクリップをストーリーテリングまたはコンテンツプロジェクトに組み込みます。

  • コンテンツ作成
  • ストーリーテリング
  • ビデオ編集
  • プロトタイピング
  • 芸術的探求
  • オーディオビジュアル同期
  • ショートフォームビデオ
  • コンセプトの視覚化

Google の製品

VideoPoet のレビュー

読み込み中...

VideoPoet に似た人気のAIツール

Lumiere

AI モデル

Lumiereは、Google Researchが開発した時空間拡散モデルであり、リアルで多様かつ一貫性のある動画生成を実現します。単一のパスで動画全体の長さを合成できるため、高度なテキストから動画への変換、画像から動画への変換、動画インペインティング、スタイル化された生成タスクを、印象的な時間的整合性をもって実行できます。

AI動画生成ツール
ツールを見る

AI モデル

Google Researchが開発した時空間拡散モデルであり、リアルで多様かつ一貫性のある動画生成を実現します。単一のパスで動画全体の長さを合成できるため、高度なテキストから動画への変換、画像から動画への変換、動画インペインティング、スタイル化された生成タスクを、印象的な時間的整合性をもって実行できます。Lumiereは、Google Researchが開発した時空間拡散モデルであり、リアルで多様かつ一貫性のある動画生成を実現します。単一のパスで動画全体の長さを合成できるため、高度なテキストから動画への変換、画像から動画への変換、動画インペインティング、スタイル化された生成タスクを、印象的な時間的整合性をもって実行できます。

AI動画生成ツール
AI モデル トップ5を見る

Imagen Video

AI モデル

Imagen Videoは、Google Researchが開発したテキスト条件付きビデオ生成システムです。ビデオ拡散モデルのカスケードを活用し、テキストプロンプトから高解像度ビデオを生成します。多様なクリエイティブアプリケーション向けに、高い忠実度、制御性、および世界知識を提供します。

AI動画生成ツール
ツールを見る

AI モデル

Google Researchが開発したテキスト条件付きビデオ生成システムです。ビデオ拡散モデルのカスケードを活用し、テキストプロンプトから高解像度ビデオを生成します。多様なクリエイティブアプリケーション向けに、高い忠実度、制御性、および世界知識を提供します。Imagen Videoは、Google Researchが開発したテキスト条件付きビデオ生成システムです。ビデオ拡散モデルのカスケードを活用し、テキストプロンプトから高解像度ビデオを生成します。多様なクリエイティブアプリケーション向けに、高い忠実度、制御性、および世界知識を提供します。

AI動画生成ツール
AI モデル トップ5を見る

Flux 3は、テキスト、画像、または参照クリップから動画を生成するAI動画生成ツールです。ネイティブオーディオ、自然な動き、多言語の対話機能を備えており、ユーザーは自分の作品をシームレスにプレビューおよびダウンロードできます。

AI動画生成ツールメディア・エンターテインメント
ツールを見る

テキスト、画像、または参照クリップから動画を生成するAI動画生成ツールです。ネイティブオーディオ、自然な動き、多言語の対話機能を備えており、ユーザーは自分の作品をシームレスにプレビューおよびダウンロードできます。Flux 3は、テキスト、画像、または参照クリップから動画を生成するAI動画生成ツールです。ネイティブオーディオ、自然な動き、多言語の対話機能を備えており、ユーザーは自分の作品をシームレスにプレビューおよびダウンロードできます。

AI動画生成ツールメディア・エンターテインメント
AI アプリ トップ250を見る

VideoAI

AI アプリ

VideoAIは、Kling、Wan、Seedance、Veoなどの先進的なモデルを使用して、テキストと画像を動画に変換するAI動画生成ツールです。また、クリエイター向けに画像ツールやAI音楽生成も提供しています。

AI動画生成ツールメディア・エンターテインメント

ビデオスクリプトの執筆で第100位

ツールを見る

AI アプリ

Kling、Wan、Seedance、Veoなどの先進的なモデルを使用して、テキストと画像を動画に変換するAI動画生成ツールです。また、クリエイター向けに画像ツールやAI音楽生成も提供しています。VideoAIは、Kling、Wan、Seedance、Veoなどの先進的なモデルを使用して、テキストと画像を動画に変換するAI動画生成ツールです。また、クリエイター向けに画像ツールやAI音楽生成も提供しています。

AI動画生成ツールメディア・エンターテインメント
ビデオスクリプトの執筆で第100位

ClipDance

AI アプリ

ClipDanceは、テキストと画像をシネマティックな1080pビデオに変換し、ネイティブに同期した音声を提供するAIビデオ制作プラットフォームです。Seedance 2.0やその他の先進的なモデルによって支えられています。無料で始められます。

AI動画生成ツール

AI動画生成ツールで第142位

ツールを見る

AI アプリ

テキストと画像をシネマティックな1080pビデオに変換し、ネイティブに同期した音声を提供するAIビデオ制作プラットフォームです。Seedance 2.0やその他の先進的なモデルによって支えられています。無料で始められます。ClipDanceは、テキストと画像をシネマティックな1080pビデオに変換し、ネイティブに同期した音声を提供するAIビデオ制作プラットフォームです。Seedance 2.0やその他の先進的なモデルによって支えられています。無料で始められます。

AI動画生成ツール
AI動画生成ツールで第142位

Sand.ai

AI アプリ

MAGI-2 Previewを含むMagiモデルファミリーの背後にあるAI動画生成会社で、開発者向けのAPIプラットフォームを備えた、対話、歌、映画的カメラ動作を同期して生成する統合音声・映像モデルです。

AI動画生成ツールメディア・エンターテインメント

AI動画生成ツールで第59位

ツールを見る

AI アプリ

MAGI-2 Previewを含むMagiモデルファミリーの背後にあるAI動画生成会社で、開発者向けのAPIプラットフォームを備えた、対話、歌、映画的カメラ動作を同期して生成する統合音声・映像モデルです。

AI動画生成ツールメディア・エンターテインメント
AI動画生成ツールで第59位

Partiは、高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。

AIモデルとLLM
ツールを見る

高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。Partiは、高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。

AIモデルとLLM
AI モデル トップ5を見る

AI Video Maker

AI アプリ

驚くべきAI生成のビデオを、完全なクリエイティブコントロールで作成します。画像とテキストプロンプトをアップロードして、高解像度のビデオを迅速かつ簡単に生成でき、費用のかかるソフトウェアや技術的スキルは必要ありません。

AI動画生成ツールメディア・エンターテインメント
ツールを見る

AI アプリ

驚くべきAI生成のビデオを、完全なクリエイティブコントロールで作成します。画像とテキストプロンプトをアップロードして、高解像度のビデオを迅速かつ簡単に生成でき、費用のかかるソフトウェアや技術的スキルは必要ありません。

AI動画生成ツールメディア・エンターテインメント
AI アプリ トップ250を見る
1 / 8