描述
V-JEPA，即 Video Joint Embedding Predictive Architecture（视频联合嵌入预测架构），是 Meta AI Research (FAIR) 开发的官方 PyTorch 代码库，用于从视频中进行自监督视觉表示学习。该方法通过被动观察 VideoMix2M 等数据集中的视频像素来学习鲁棒的视觉表示。与依赖像素重建的生成模型不同，V-JEPA 采用无监督特征预测目标。它不需要预训练的图像编码器、文本、负样本、人类标注或像素级重建，使其成为一种纯粹的无监督方法。
阅读更多
V-JEPA 方法的核心在于一个在潜在空间中运行的预测器，而不是像素解码器。该预测器根据观察到的部分对视频的缺失区域进行预测。为了可视化这些预测，使用条件扩散模型将潜在空间预测解码为可解释的像素。至关重要的是，在此解码过程中，预训练的 V-JEPA 编码器和预测器网络保持冻结，确保学习到的表示得以保留。
代码库的结构旨在促进预训练和评估。`configs` 目录中的配置文件指定了实验参数，允许用户自定义日志、检查点和训练数据的路径。`app` 目录包含训练循环，其中 `main.py` 用于本地调试，`main_distributed.py` 用于使用 submitit 和 SLURM 等工具在集群上启动分布式训练。`evals` 目录包含用于图像和视频分类等任务的评估脚本，同时也支持本地和分布式执行。
数据准备涉及为视频数据集创建 CSV 文件，其中每行指定视频文件的绝对路径和一个整数类标签（在无监督预训练期间被忽略，但在监督评估中使用）。图像数据集使用标准的 PyTorch ImageFolder 类进行准备，需要特定的目录结构。该项目提供了预训练模型，包括 ViT-L 和 ViT-H 变体，以及用于 K400、SSv2、ImageNet1K、Places205 和 iNat21 等各种下游任务的注意力探针，展示了学习表示的多功能性。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
V-JEPA的核心功能
使用联合嵌入预测架构 (JEPA) 从视频中进行自监督学习
在潜在空间中进行无监督特征预测目标
不依赖像素级重建或人类标注
为下游视频和图像任务提供通用的视觉表示
官方 PyTorch 代码库，提供模型和配置
支持本地和分布式训练与评估
包含预训练模型 (ViT-L, ViT-H) 和注意力探针
灵活的视频和图像数据集准备
代码库包含预训练和评估脚本
通过潜在空间中的条件扩散模型进行可视化
V-JEPA入门
克隆仓库：从 GitHub 获取 V-JEPA 代码库。
安装依赖项：设置 Python 环境（例如，使用 conda）并安装所需的包。
配置实验：更新 `configs` 目录中关于数据、日志和检查点的配置文件中的路径。
准备数据：根据指定的 CSV 或 ImageFolder 结构格式化视频和图像数据集。
启动预训练：使用 `app/main.py` 或 `app/main_distributed.py` 启动本地或分布式预训练。
启动评估：使用 `evals/main.py` 或 `evals/main_distributed.py` 为下游任务启动本地或分布式评估。
利用预训练模型：下载并集成提供的预训练 V-JEPA 模型以供您的应用程序使用。
V-JEPA的使用案例
- 视频表示学习
- 图像分类
- 视频分类
- 下游任务适应
- 研究与开发
- 特征预测
