Imagen Text-to-Image

Google Researchが開発したテキスト条件付きビデオ生成システムです。ビデオ拡散モデルのカスケードを活用し、テキストプロンプトから高解像度ビデオを生成します。多様なクリエイティブアプリケーション向けに、高い忠実度、制御性、および世界知識を提供します。Imagen Videoは、Google Researchが開発したテキスト条件付きビデオ生成システムです。ビデオ拡散モデルのカスケードを活用し、テキストプロンプトから高解像度ビデオを生成します。多様なクリエイティブアプリケーション向けに、高い忠実度、制御性、および世界知識を提供します。

凍結されたビジュアルエンコーダーと大規模言語モデルを連携させることで、視覚と言語の理解を強化するAIモデルです。詳細な画像説明の生成、ドラフトからのウェブサイト作成、画像に触発された物語の執筆、視覚的な問題の解決など、高度なマルチモーダル能力を発揮します。MiniGPT-4は、凍結されたビジュアルエンコーダーと大規模言語モデルを連携させることで、視覚と言語の理解を強化するAIモデルです。詳細な画像説明の生成、ドラフトからのウェブサイト作成、画像に触発された物語の執筆、視覚的な問題の解決など、高度なマルチモーダル能力を発揮します。

Parti: Pathways Autoregressive Text-to-Image Model

AI モデル

高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。Partiは、高忠実度でフォトリアルな画像を生成する自己回帰型テキスト画像生成モデルです。画像生成をシーケンス・ツー・シーケンスの問題として扱い、大規模言語モデルの進歩を活用して複雑な構図と世界の知識合成を実現します。Partiは、詳細なディテールとインタラクションを伴うコンテンツリッチな合成をサポートします。

StyleSwin: Transformer-based GAN

AI GitHub リポジトリ

高解像度画像生成のために設計されたTransformerベースの敵対的生成ネットワーク（GAN）です。Swin Transformerと新しいダブルアテンションメカニズムを活用し、計算効率とモデリング能力のバランスを取り、最大1024x1024の解像度で優れた結果を達成します。StyleSwinは、高解像度画像生成のために設計されたTransformerベースの敵対的生成ネットワーク（GAN）です。Swin Transformerと新しいダブルアテンションメカニズムを活用し、計算効率とモデリング能力のバランスを取り、最大1024x1024の解像度で優れた結果を達成します。

BEiT Image Transformer

AI モデル

マスク画像モデリングを用いてビジョントランスフォーマーを事前学習する自己教師あり学習の視覚表現モデルです。画像を視覚トークンにトークン化し、マスクされたパッチを復元することで、画像分類やセマンティックセグメンテーションなどの下流タスクで競争力のある結果を達成します。BEiTは、マスク画像モデリングを用いてビジョントランスフォーマーを事前学習する自己教師あり学習の視覚表現モデルです。画像を視覚トークンにトークン化し、マスクされたパッチを復元することで、画像分類やセマンティックセグメンテーションなどの下流タスクで競争力のある結果を達成します。

Lumiere

AI モデル

Google Researchが開発した時空間拡散モデルであり、リアルで多様かつ一貫性のある動画生成を実現します。単一のパスで動画全体の長さを合成できるため、高度なテキストから動画への変換、画像から動画への変換、動画インペインティング、スタイル化された生成タスクを、印象的な時間的整合性をもって実行できます。Lumiereは、Google Researchが開発した時空間拡散モデルであり、リアルで多様かつ一貫性のある動画生成を実現します。単一のパスで動画全体の長さを合成できるため、高度なテキストから動画への変換、画像から動画への変換、動画インペインティング、スタイル化された生成タスクを、印象的な時間的整合性をもって実行できます。

Vision Transformer

AI GitHub リポジトリ

Vision Transformer (ViT) リポジトリは、画像認識タスク用のモデルとコードを提供します。ImageNet および ImageNet-21k データセットで事前学習済みの Vision Transformer および MLP-Mixer アーキテクチャの実装が含まれており、JAX/Flax でのファインチューニング用コードも提供します。

Kandinsky 2

AI GitHub リポジトリ

多言語対応のテキストから画像への潜在拡散モデルです。テキストから画像への変換、画像から画像への変換、インペインティングなど、高度な画像生成機能を提供します。ControlNetをサポートしており、画像生成の制御を強化し、強力なエンコーダーを使用してテキストと画像の理解を向上させ、より美しい出力を実現します。Kandinsky 2は、多言語対応のテキストから画像への潜在拡散モデルです。テキストから画像への変換、画像から画像への変換、インペインティングなど、高度な画像生成機能を提供します。ControlNetをサポートしており、画像生成の制御を強化し、強力なエンコーダーを使用してテキストと画像の理解を向上させ、より美しい出力を実現します。