V-JEPA

الوصف

V-JEPA، أو بنية التنبؤ المشترك للتضمين للفيديو، هي قاعدة كود رسمية لـ PyTorch تم تطويرها بواسطة Meta AI Research (FAIR) للتعلم ذاتي الإشراف للتمثيلات المرئية من الفيديو. تركز هذه الطريقة على تعلم تمثيلات مرئية قوية من خلال المراقبة السلبية لبكسلات الفيديو من مجموعات بيانات مثل VideoMix2M. على عكس النماذج التوليدية التي تعتمد على إعادة بناء البكسل، يستخدم V-JEPA هدف تنبؤ الميزات غير المراقب. لا يتطلب هذا النموذج مشفرات صور مدربة مسبقًا، أو نصًا، أو أمثلة سلبية، أو تعليقات بشرية، أو إعادة بناء على مستوى البكسل، مما يجعله نهجًا غير مراقب بالكامل.

يتضمن جوهر منهجية V-JEPA مُتنبئًا يعمل في مساحة كامنة، بدلاً من مُفكك تشفير البكسل. يقوم هذا المُتنبئ بعمل تنبؤات للمناطق المفقودة في الفيديو بناءً على الأجزاء المرصودة. لتصور هذه التنبؤات، يتم استخدام نموذج انتشار شرطي لفك تشفير تنبؤات المساحة الكامنة إلى بكسلات قابلة للتفسير. بشكل حاسم، أثناء عملية فك التشفير هذه، تظل شبكات التشفير والمُتنبئ المدربة مسبقًا لـ V-JEPA مجمدة، مما يضمن الحفاظ على التمثيلات المتعلمة.

تم تنظيم قاعدة الكود لتسهيل كل من التدريب المسبق والتقييم. تحدد ملفات التكوين في دليل `configs` معلمات التجربة، مما يسمح للمستخدمين بتخصيص المسارات للسجلات، ونقاط الفحص، وبيانات التدريب. يحتوي دليل `app` على حلقات التدريب، مع `main.py` لتصحيح الأخطاء المحلي و `main_distributed.py` لتشغيل التدريب الموزع على المجموعات باستخدام أدوات مثل submitit و SLURM. يضم دليل `evals` نصوص التقييم للمهام مثل تصنيف الصور والفيديو، ويدعم أيضًا التنفيذ المحلي والموزع.

يتضمن إعداد البيانات إنشاء ملفات CSV لمجموعات بيانات الفيديو، حيث تحدد كل سطر المسار المطلق لملف الفيديو وتسمية فئة عددية (يتم تجاهلها أثناء التدريب المسبق غير المراقب ولكن يتم استخدامها للتقييمات المراقب). يتم إعداد مجموعات بيانات الصور باستخدام فئة PyTorch ImageFolder القياسية، وتتطلب بنية دليل محددة. يوفر المشروع نماذج مدربة مسبقًا، بما في ذلك متغيرات ViT-L و ViT-H، جنبًا إلى جنب مع مجسات انتباهية لمهام لاحقة مختلفة مثل K400، SSv2، ImageNet1K، Places205، و iNat21، مما يوضح تنوع التمثيلات المتعلمة.

الميزات الأساسية لـ V-JEPA

• التعلم ذاتي الإشراف من الفيديو باستخدام بنية التنبؤ المشترك للتضمين (JEPA)

• هدف تنبؤ الميزات غير المراقب في المساحة الكامنة

• لا يعتمد على إعادة بناء البكسل أو التعليقات البشرية

• تمثيلات مرئية متعددة الاستخدامات لمهام الفيديو والصور اللاحقة

• قاعدة كود PyTorch رسمية مع نماذج وتكوينات مقدمة

• يدعم التدريب والتقييم المحلي والموزع

• يشمل نماذج مدربة مسبقًا (ViT-L، ViT-H) ومجسات انتباهية

• إعداد بيانات مرن لمجموعات بيانات الفيديو والصور

• قاعدة الكود تتضمن نصوص للتدريب المسبق والتقييم

• تصورات عبر نماذج انتشار شرطي في المساحة الكامنة

البدء مع V-JEPA

1. 1

   استنساخ المستودع: احصل على قاعدة كود V-JEPA من GitHub.

2. 2

   تثبيت التبعيات: قم بإعداد بيئة Python (على سبيل المثال، باستخدام conda) وقم بتثبيت الحزم المطلوبة.

3. 3

   تكوين التجارب: قم بتحديث المسارات في ملفات التكوين داخل دليل `configs` للبيانات والسجلات ونقاط الفحص.

4. 4

   إعداد البيانات: قم بتنسيق مجموعات بيانات الفيديو والصور وفقًا لهيكل CSV أو ImageFolder المحدد.

5. 5

   تشغيل التدريب المسبق: قم بتنفيذ التدريب المسبق المحلي أو الموزع باستخدام `app/main.py` أو `app/main_distributed.py`.

6. 6

   تشغيل التقييمات: قم بتشغيل التقييمات المحلية أو الموزعة للمهام اللاحقة باستخدام `evals/main.py` أو `evals/main_distributed.py`.

7. 7

   استخدام النماذج المدربة مسبقًا: قم بتنزيل ودمج نماذج V-JEPA المدربة مسبقًا المقدمة لتطبيقاتك.

حالات استخدام V-JEPA

• تعلم تمثيلات الفيديو
• تصنيف الصور
• تصنيف الفيديو
• التكيف مع المهام اللاحقة
• البحث والتطوير
• تنبؤ الميزات

الأسئلة الشائعة من V-JEPA

• ما هو V-JEPA وما هو غرضه الأساسي؟

  V-JEPA هو تطبيق PyTorch للتعلم ذاتي الإشراف من الفيديو، يركز على تعلم التمثيلات المرئية من خلال تنبؤ الميزات في مساحة كامنة دون إعادة بناء البكسل.

• كيف يختلف V-JEPA عن طرق التعلم ذاتي الإشراف الأخرى؟

  يتميز V-JEPA باستخدامه بنية تنبؤية مشتركة للتضمين وتنبؤ الميزات في مساحة كامنة، متجنبًا إعادة بناء البكسل ويعتمد فقط على الأهداف غير المراقبة.

• ما نوع البيانات التي يستخدمها V-JEPA للتدريب؟

  يتم تدريب V-JEPA على بكسلات الفيديو، باستخدام مجموعات بيانات مثل VideoMix2M بشكل أساسي. كما أنه يدعم مجموعات بيانات الصور لأغراض التقييم.

• هل يمكن استخدام تمثيلات V-JEPA للمهام اللاحقة؟

  نعم، تم تصميم تمثيلات V-JEPA لتكون متعددة الاستخدامات وتقدم أداءً جيدًا في مهام الفيديو والصور اللاحقة المختلفة، غالبًا مع بنية أساسية مجمدة ومجس خفيف الوزن.

• هل يتطلب V-JEPA تعليقات بشرية للتدريب؟

  لا، V-JEPA هي طريقة ذاتية الإشراف ولا تتطلب تعليقات بشرية لمرحلة التدريب المسبق.

• ما هي النماذج المدربة مسبقًا المتاحة لـ V-JEPA؟

  يوفر المستودع نماذج مدربة مسبقًا، بما في ذلك متغيرات ViT-L و ViT-H، بأحجام بقع ودقة مختلفة.

• كيف يمكنني إعداد بيانات الفيديو الخاصة بي لـ V-JEPA؟

  يجب تنظيم بيانات الفيديو في ملف CSV مع مسارات الملفات المطلقة وتسميات الفئات العددية. يتم تجاهل التسميات أثناء التدريب المسبق ولكن يتم استخدامها للتقييمات المراقب.

• كيف أقوم بتشغيل التدريب المسبق لـ V-JEPA؟

  يمكنك تشغيل التدريب المسبق محليًا باستخدام `app/main.py` أو بطريقة موزعة باستخدام `app/main_distributed.py`، مع تحديد ملف التكوين.

• ما هي قدرات التقييم لـ V-JEPA؟

  يدعم V-JEPA تقييمات تصنيف الصور، وتصنيف الفيديو، ومهام أخرى باستخدام مجسات انتباهية على هياكل أساسية مجمدة.

• ما هو دور المُتنبئ في V-JEPA؟

  يقوم المُتنبئ في V-JEPA بعمل تنبؤات في المساحة الكامنة للأجزاء المقنعة أو المستقبلية من الفيديو، بناءً على السياق المرصود.

• هل كود V-JEPA متاح للاستخدام؟

  نعم، كود ونماذج V-JEPA متاحة للجمهور على GitHub بموجب ترخيص متساهل.