الوصف
BEiT، والذي يرمز إلى تمثيل المُحولات ثنائية الاتجاه من الصور (Bidirectional Encoder representation from Image Transformers)، هو نموذج تمثيل رؤية ذاتي الإشراف مبتكر طورته Microsoft Research. مستوحى من نجاح BERT في معالجة اللغة الطبيعية، يقوم BEiT بتكييف نموذج نمذجة اللغة المقنعة لمجال رؤية الكمبيوتر.
قراءة المزيد
يكمن الابتكار الأساسي لـ BEiT في مهمة نمذجة الصور المقنعة. تتضمن عملية التدريب المسبق خطوتين رئيسيتين. أولاً، يتم تقسيم الصورة المدخلة إلى رقع ثم "ترميزها" إلى رموز مرئية منفصلة. ثانيًا، يتم إخفاء جزء من رقع الصور هذه عشوائيًا. ثم يتم تغذية رقع الصور التالفة هذه إلى نموذج مُحول أساسي. هدف النموذج أثناء التدريب المسبق هو استعادة الرموز المرئية الأصلية المقابلة لرقع الصور المقنعة بدقة.
بعد مرحلة التدريب المسبق، يمكن ضبط نموذج BEiT مباشرة للمهام اللاحقة المختلفة. تتضمن عملية الضبط هذه إلحاق طبقات خاصة بالمهمة بالمُحول المُدرب مسبقًا. أظهر النموذج أداءً قويًا في مهام مثل تصنيف الصور والتجزئة الدلالية، محققًا نتائج تنافسية عند مقارنتها بمنهجيات التدريب المسبق الحالية. يسمح هذا النهج بالتعلم الفعال للتمثيلات المرئية دون الحاجة إلى مجموعات بيانات موسومة بشكل مكثف للتدريب الأولي.
نموذج BEiT ذو أهمية خاصة للباحثين والمطورين الذين يعملون على مهام رؤية الكمبيوتر والذين يتطلعون إلى الاستفادة من النماذج القوية المدربة مسبقًا. طبيعته ذاتية الإشراف تقلل من الاعتماد على مجموعات البيانات الكبيرة التي تم تمييزها يدويًا، مما يجعله حلاً أكثر سهولة وكفاءة للعديد من التطبيقات. القدرة على ضبط النموذج على مهام محددة تعزز تنوعه وقابليته للتطبيق عبر مجموعة من تحديات التعرف المرئي.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح BEiT Image Transformer
تعلم تمثيل الرؤية ذاتي الإشراف
مهمة التدريب المسبق لنمذجة الصور المقنعة
يستخدم مُحولات الرؤية
ترميز الصور إلى رموز مرئية منفصلة
يستعيد رقع الصور المقنعة
ضبط مباشر على المهام اللاحقة
أداء تنافسي في تصنيف الصور
أداء تنافسي في التجزئة الدلالية
نهج تدريب مسبق مستوحى من BERT
البدء مع BEiT Image Transformer
الوصول إلى النموذج: احصل على إمكانية الوصول إلى نموذج BEiT المُدرب مسبقًا.
إعداد البيئة: قم بتكوين بيئة التطوير الخاصة بك مع المكتبات اللازمة.
التكامل عبر API: قم بتحميل النموذج وإعداد بيانات الصور الخاصة بك.
الضبط: قم بإلحاق طبقات خاصة بالمهمة وقم بالتدريب على مجموعة بياناتك اللاحقة.
التحسين: قم بتقييم الأداء وضبط المعلمات الفائقة للحصول على النتائج المرجوة.
حالات استخدام BEiT Image Transformer
- تصنيف الصور
- التجزئة الدلالية
- تعلم تمثيل الرؤية
- التعلم الانتقالي
- أبحاث رؤية الكمبيوتر
