メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

V-JEPA

AI GitHub リポジトリAIモデルとLLMオープンソース · Web

V-JEPAは、ビデオからの自己教師あり学習のためのPyTorch実装です。人間によるアノテーションやピクセルレベルの再構築なしに視覚的表現を学習するために、共同埋め込み予測アーキテクチャを利用します。コードとモデルは、多様な下流のビデオおよび画像タスク向けに設計されています。

リポジトリを見る
共有
リポジトリを見る
共有

V-JEPA、またはVideo Joint Embedding Predictive Architectureは、Meta AI Research (FAIR) によって開発された、ビデオからの自己教師あり視覚表現学習のための公式PyTorchコードベースです。この手法は、VideoMix2Mのようなデータセットからのビデオピクセルをパッシブに観察することにより、堅牢な視覚表現の学習に焦点を当てています。ピクセル再構築に依存する生成モデルとは異なり、V-JEPAは教師なし特徴予測目的を使用します。事前学習済みの画像エンコーダー、テキスト、ネガティブサンプル、人間によるアノテーション、またはピクセルレベルの再構築を必要としないため、純粋な教師なしアプローチです。

続きを読む

V-JEPAの方法論の核心は、ピクセルデコーダーではなく、潜在空間で動作する予測子を含みます。この予測子は、観測された部分に基づいて、ビデオの欠落領域の予測を行います。これらの予測を視覚化するために、条件付き拡散モデルを使用して、潜在空間の予測を解釈可能なピクセルにデコードします。重要なことに、このデコードプロセス中、事前学習済みのV-JEPAエンコーダーおよび予測子ネットワークは固定されたままであり、学習された表現が維持されることを保証します。

コードベースは、事前学習と評価の両方を容易にするように構造化されています。`configs` ディレクトリ内の設定ファイルは、実験パラメータを指定し、ユーザーがログ、チェックポイント、およびトレーニングデータのパスをカスタマイズできるようにします。`app` ディレクトリにはトレーニングループが含まれており、`main.py` はローカルデバッグ用、`main_distributed.py` は submitit や SLURM のようなツールを使用してクラスターでの分散トレーニングを開始するために使用されます。`evals` ディレクトリには、画像およびビデオ分類などのタスクの評価スクリプトが格納されており、ローカルおよび分散実行の両方をサポートしています。

データ準備には、ビデオデータセット用のCSVファイルの作成が含まれます。各行は、ビデオファイルへの絶対パスと整数クラスラベルを指定します(教師なし事前学習中は無視されますが、教師あり評価に使用されます)。画像データセットは、標準のPyTorch ImageFolderクラスを使用して準備され、特定のディレクトリ構造が必要です。このプロジェクトは、ViT-LおよびViT-Hバリアントを含む事前学習済みモデルと、K400、SSv2、ImageNet1K、Places205、iNat21などのさまざまな下流タスク用の注意プローブを提供し、学習された表現の汎用性を示しています。

  • カテゴリーAIモデルとLLM
  • 料金モデルオープンソース
  • デプロイクラウド, セルフホスト
  • プラットフォームWeb

  • 共同埋め込み予測アーキテクチャ (JEPA) を使用したビデオからの自己教師あり学習

  • 潜在空間における教師なし特徴予測目的

  • ピクセルレベルの再構築や人間によるアノテーションへの依存なし

  • 下流のビデオおよび画像タスクのための汎用的な視覚表現

  • 提供されるモデルと設定を備えた公式PyTorchコードベース

  • ローカルおよび分散トレーニングと評価をサポート

  • 事前学習済みモデル (ViT-L, ViT-H) および注意プローブを含む

  • ビデオおよび画像データセットのための柔軟なデータ準備

  • コードベースには事前学習および評価用のスクリプトが含まれる

  • 潜在空間における条件付き拡散モデルによる視覚化

  1. リポジトリのクローン: GitHubからV-JEPAコードベースを取得します。

  2. 依存関係のインストール: Python環境(例: condaを使用)をセットアップし、必要なパッケージをインストールします。

  3. 実験の設定: データ、ログ、チェックポイントのために、`configs` ディレクトリ内の設定ファイルを更新します。

  4. データの準備: 指定されたCSVまたはImageFolder構造に従って、ビデオおよび画像データセットをフォーマットします。

  5. 事前学習の開始: `app/main.py` または `app/main_distributed.py` を使用して、ローカルまたは分散事前学習を実行します。

  6. 評価の開始: `evals/main.py` または `evals/main_distributed.py` を使用して、下流タスクのローカルまたは分散評価を実行します。

  7. 事前学習済みモデルの利用: 提供されている事前学習済みV-JEPAモデルをダウンロードし、アプリケーションに統合します。

  • ビデオ表現学習
  • 画像分類
  • ビデオ分類
  • 下流タスクへの適応
  • 研究開発
  • 特徴予測

V-JEPA に似た人気のAIツール

DINOv3

AI GitHub リポジトリ

DINOv3は、Facebook Researchによって開発された参照PyTorch実装とモデルを提供します。これは、コンピュータビジョンタスクのために自己教師あり学習技術を活用することに興味のある研究者や開発者向けに設計されています。

コンピュータービジョンツール
ツールを見る

AI GitHub リポジトリ

Facebook Researchによって開発された参照PyTorch実装とモデルを提供します。これは、コンピュータビジョンタスクのために自己教師あり学習技術を活用することに興味のある研究者や開発者向けに設計されています。DINOv3は、Facebook Researchによって開発された参照PyTorch実装とモデルを提供します。これは、コンピュータビジョンタスクのために自己教師あり学習技術を活用することに興味のある研究者や開発者向けに設計されています。

コンピュータービジョンツール
AI GitHub リポジトリ トップ250を見る

LLaVA

AI GitHub リポジトリ

LLaVAは、大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。LLaVAは、大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

MiniGPT-4 & MiniGPT-v2

AI GitHub リポジトリ

MiniGPT-4およびMiniGPT-v2のオープンソースコード。これらは、ビジョンと言語の理解を強化する高度な大規模言語モデルです。これらのモデルは、ビジョンと言語のタスクにおけるマルチタスク学習を可能にし、画像理解と生成の機能を提供します。Llama 2およびVicunaモデルを基盤としており、研究者や開発者向けの強力なツールを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

MiniGPT-4およびMiniGPT-v2のオープンソースコード。これらは、ビジョンと言語の理解を強化する高度な大規模言語モデルです。これらのモデルは、ビジョンと言語のタスクにおけるマルチタスク学習を可能にし、画像理解と生成の機能を提供します。Llama 2およびVicunaモデルを基盤としており、研究者や開発者向けの強力なツールを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

ESRGAN

AI GitHub リポジトリ

ESRGANは、視覚的な詳細と品質を向上させるための高度なAIモデルで、画像の超解像に特化しています。PIRMチャレンジの知覚的超解像部門で優勝し、さまざまなアプリケーションで画像の明瞭さと解像度を向上させるために使用されています。

AIモデルとLLMメディア・エンターテインメント
ツールを見る

AI GitHub リポジトリ

視覚的な詳細と品質を向上させるための高度なAIモデルで、画像の超解像に特化しています。PIRMチャレンジの知覚的超解像部門で優勝し、さまざまなアプリケーションで画像の明瞭さと解像度を向上させるために使用されています。ESRGANは、視覚的な詳細と品質を向上させるための高度なAIモデルで、画像の超解像に特化しています。PIRMチャレンジの知覚的超解像部門で優勝し、さまざまなアプリケーションで画像の明瞭さと解像度を向上させるために使用されています。

AIモデルとLLMメディア・エンターテインメント
AI GitHub リポジトリ トップ250を見る

CLIP

AI GitHub リポジトリ

CLIPは、OpenAIによって開発されたモデルで、画像に対して最も関連性の高いテキストスニペットを予測します。対照的な言語画像事前学習を使用して、画像の正確なテキスト記述を理解し生成する能力を高め、AIが視覚コンテンツを解釈する能力を向上させます。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

OpenAIによって開発されたモデルで、画像に対して最も関連性の高いテキストスニペットを予測します。対照的な言語画像事前学習を使用して、画像の正確なテキスト記述を理解し生成する能力を高め、AIが視覚コンテンツを解釈する能力を向上させます。CLIPは、OpenAIによって開発されたモデルで、画像に対して最も関連性の高いテキストスニペットを予測します。対照的な言語画像事前学習を使用して、画像の正確なテキスト記述を理解し生成する能力を高め、AIが視覚コンテンツを解釈する能力を向上させます。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

Vision Transformer

AI GitHub リポジトリ

Vision Transformer (ViT) リポジトリは、画像認識タスク用のモデルとコードを提供します。ImageNet および ImageNet-21k データセットで事前学習済みの Vision Transformer および MLP-Mixer アーキテクチャの実装が含まれており、JAX/Flax でのファインチューニング用コードも提供します。

コンピュータービジョンツール
ツールを見る

AI GitHub リポジトリ

Vision Transformer (ViT) リポジトリは、画像認識タスク用のモデルとコードを提供します。ImageNet および ImageNet-21k データセットで事前学習済みの Vision Transformer および MLP-Mixer アーキテクチャの実装が含まれており、JAX/Flax でのファインチューニング用コードも提供します。

コンピュータービジョンツール
AI GitHub リポジトリ トップ250を見る

Pythae

AI GitHub リポジトリ

Pythaeは、Pytorchを使用した変分オートエンコーダ(VAE)実装のための統一プラットフォームを提供します。研究者や開発者に、VAEモデルを実験し最適化するための包括的なツールキットを提供し、機械学習とAI研究の進展を促進します。

機械学習プラットフォーム
ツールを見る

AI GitHub リポジトリ

Pytorchを使用した変分オートエンコーダ(VAE)実装のための統一プラットフォームを提供します。研究者や開発者に、VAEモデルを実験し最適化するための包括的なツールキットを提供し、機械学習とAI研究の進展を促進します。Pythaeは、Pytorchを使用した変分オートエンコーダ(VAE)実装のための統一プラットフォームを提供します。研究者や開発者に、VAEモデルを実験し最適化するための包括的なツールキットを提供し、機械学習とAI研究の進展を促進します。

機械学習プラットフォーム
AI GitHub リポジトリ トップ250を見る

LocalAI

AI GitHub リポジトリ

LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル(LLM、ビジョン、音声、画像、動画など)を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

機械学習プラットフォーム

AI GitHub リポジトリで第44位

ツールを見る

AI GitHub リポジトリ

ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル(LLM、ビジョン、音声、画像、動画など)を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル(LLM、ビジョン、音声、画像、動画など)を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

注目機械学習プラットフォーム
AI GitHub リポジトリで第44位
1 / 8