Generative Image-to-Text Transformer

LLaVA

AI GitHub リポジトリ

大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。LLaVAは、大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。

CLIP

AI GitHub リポジトリ

OpenAIによって開発されたモデルで、画像に対して最も関連性の高いテキストスニペットを予測します。対照的な言語画像事前学習を使用して、画像の正確なテキスト記述を理解し生成する能力を高め、AIが視覚コンテンツを解釈する能力を向上させます。CLIPは、OpenAIによって開発されたモデルで、画像に対して最も関連性の高いテキストスニペットを予測します。対照的な言語画像事前学習を使用して、画像の正確なテキスト記述を理解し生成する能力を高め、AIが視覚コンテンツを解釈する能力を向上させます。

MiniGPT-4 & MiniGPT-v2

AI GitHub リポジトリ

MiniGPT-4およびMiniGPT-v2のオープンソースコード。これらは、ビジョンと言語の理解を強化する高度な大規模言語モデルです。これらのモデルは、ビジョンと言語のタスクにおけるマルチタスク学習を可能にし、画像理解と生成の機能を提供します。Llama 2およびVicunaモデルを基盤としており、研究者や開発者向けの強力なツールを提供します。

ViT-Adapter

AI GitHub リポジトリ

物体検出やセグメンテーションなどの密な予測タスクにおいて、Vision Transformer (ViT) の性能を向上させるAIモデルです。事前学習なしで画像固有の帰納バイアスを導入し、プレーンなViTが特殊なTransformerと同等の結果を達成できるようにすることで、様々な下流アプリケーションに適しています。ViT-Adapterは、物体検出やセグメンテーションなどの密な予測タスクにおいて、Vision Transformer (ViT) の性能を向上させるAIモデルです。事前学習なしで画像固有の帰納バイアスを導入し、プレーンなViTが特殊なTransformerと同等の結果を達成できるようにすることで、様々な下流アプリケーションに適しています。

Vision Transformer

AI GitHub リポジトリ

Vision Transformer (ViT) リポジトリは、画像認識タスク用のモデルとコードを提供します。ImageNet および ImageNet-21k データセットで事前学習済みの Vision Transformer および MLP-Mixer アーキテクチャの実装が含まれており、JAX/Flax でのファインチューニング用コードも提供します。

DALL·E

AI モデル

テキストの説明から画像を生成するAIモデルです。幅広い視覚的コンセプトを作成したり、無関係なアイデアを組み合わせたり、テキストをレンダリングしたり、既存の画像を変換したりすることができ、自然言語プロンプトを視覚化する新しい方法を提供します。DALL·Eは、テキストの説明から画像を生成するAIモデルです。幅広い視覚的コンセプトを作成したり、無関係なアイデアを組み合わせたり、テキストをレンダリングしたり、既存の画像を変換したりすることができ、自然言語プロンプトを視覚化する新しい方法を提供します。

DM-GAN

AI GitHub リポジトリ

テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。DM-GANは、テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。

Kandinsky 2

AI GitHub リポジトリ

多言語対応のテキストから画像への潜在拡散モデルです。テキストから画像への変換、画像から画像への変換、インペインティングなど、高度な画像生成機能を提供します。ControlNetをサポートしており、画像生成の制御を強化し、強力なエンコーダーを使用してテキストと画像の理解を向上させ、より美しい出力を実現します。Kandinsky 2は、多言語対応のテキストから画像への潜在拡散モデルです。テキストから画像への変換、画像から画像への変換、インペインティングなど、高度な画像生成機能を提供します。ControlNetをサポートしており、画像生成の制御を強化し、強力なエンコーダーを使用してテキストと画像の理解を向上させ、より美しい出力を実現します。