الوصف
فلامنجو، الذي طورته Google DeepMind، هو نموذج لغة مرئي (VLM) رائد مصمم لمعالجة مهام متعددة بكفاءة ملحوظة من خلال التعلم بالقليل من الأمثلة. على عكس النماذج المرئية التقليدية التي تتطلب مجموعات بيانات واسعة خاصة بالمهمة وإعادة تدريب لكل مشكلة جديدة، يمكن لفلامنجو تعلم أداء مهام جديدة ببضع أمثلة فقط. تقلل هذه القدرة بشكل كبير من التكلفة والوقت والموارد المرتبطة بتعليق البيانات وتدريب النموذج.
قراءة المزيد
تقبل الواجهة المبتكرة للنموذج موجهًا يتكون من صور ومقاطع فيديو ونصوص متداخلة، ثم يقوم بإنشاء مخرجات لغوية مقابلة. تسمح آلية الإدخال والإخراج متعددة الوسائط هذه لفلامنجو بفهم المعلومات المرئية والنصية المعقدة والاستجابة لها في وقت واحد. من خلال توفير أزواج قليلة من الأمثلة للمدخلات المرئية والاستجابات النصية المطلوبة ضمن موجهه، يمكن للمستخدمين توجيه فلامنجو للإجابة على أسئلة حول صور أو مقاطع فيديو جديدة، مما يوجه النموذج بفعالية نحو حل مهمة متعددة الوسائط محددة دون أي تدريب إضافي.
يحقق فلامنجو أداءً متطورًا في التعلم بالقليل من الأمثلة عبر مجموعة واسعة من المهام متعددة الوسائط المفتوحة. على 16 مهمة قياسية، تفوق على جميع أساليب التعلم بالقليل من الأمثلة السابقة عند تزويده بأربعة أمثلة فقط لكل مهمة. في عدة حالات، تجاوز أداء فلامنجو الأساليب التي تم ضبطها بدقة لكل مهمة واستخدمت كميات أكبر بكثير من البيانات. هذا يجعل نمذجة اللغة المرئية المتقدمة متاحة لغير الخبراء للتطبيق الفوري على تحديات جديدة.
من الناحية المعمارية، يدمج فلامنجو نماذج لغوية كبيرة مدربة مسبقًا ومجمدة مع تمثيلات مرئية قوية. يتم دمج مكونات جديدة بين هذه الوحدات، ويتم تدريب النظام بأكمله على مجموعة بيانات كبيرة ومتنوعة من البيانات متعددة الوسائط المأخوذة من الويب، مما يتجنب الحاجة إلى تعليقات توضيحية خاصة بالتعلم الآلي. يعتمد النموذج على نموذج اللغة Chinchilla 70B من Google، مما ينتج عنه VLM بمعامل 80B. بعد تدريبه الأولي، يمكن تكييف فلامنجو بسهولة مع مهام الرؤية المختلفة من خلال التعلم البسيط بالقليل من الأمثلة، مما يلغي الحاجة إلى الضبط الدقيق الخاص بالمهمة.
بالإضافة إلى أدائه القياسي، يظهر فلامنجو قدرات نوعية مثيرة للإعجاب، بما في ذلك الحوار متعدد الوسائط خارج الصندوق. تم اختبار النموذج لاعتبارات أخلاقية، مثل وصف الصور المتعلقة بالجنس ولون البشرة، وتقييم سمية النص الذي تم إنشاؤه باستخدام واجهة برمجة تطبيقات Perspective API من Google. في حين أن النتائج الأولية واعدة، تؤكد DeepMind على الحاجة الملحة لمزيد من البحث في المخاطر الأخلاقية للأنظمة متعددة الوسائط قبل النشر على نطاق واسع. تطبيقات فلامنجو المحتملة واسعة، تتراوح من مساعدة الأفراد ضعاف البصر إلى تحسين تحديد المحتوى الضار عبر الإنترنت، مما يمهد الطريق لتفاعلات ذكاء اصطناعي أكثر بديهية وفائدة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح Flamingo
قدرة التعلم بالقليل من الأمثلة
يعالج الصور ومقاطع الفيديو والنصوص المتداخلة
ينشئ مخرجات لغوية مرتبطة
أداء متطور في المهام متعددة الوسائط
يتطلب الحد الأدنى من الأمثلة الخاصة بالمهمة
لا حاجة لتدريب إضافي للمهام الجديدة
يدمج نماذج اللغة الكبيرة مع التمثيلات المرئية
تم تدريبه على بيانات الويب متعددة الوسائط واسعة النطاق
قدرات حوار متعدد الوسائط خارج الصندوق
قابل للتكيف مع مهام الرؤية عبر التعلم بالقليل من الأمثلة
البدء مع Flamingo
الوصول إلى النموذج: استخدم فلامنجو عبر واجهة برمجة التطبيقات (API) الخاصة به أو المنصات المتكاملة.
صياغة الموجه: قم بإنشاء موجه يتضمن صورًا ومقاطع فيديو ونصوصًا متداخلة.
تقديم الأمثلة: قم بتضمين عدد قليل من الأمثلة الخاصة بالمهمة ضمن الموجه.
الاستعلام عن النموذج: اطرح سؤالاً أو قدم مدخلًا مرئيًا جديدًا.
تلقي المخرجات: احصل على الاستجابة اللغوية التي تم إنشاؤها من النموذج.
حالات استخدام Flamingo
- تعلم المهام متعددة الوسائط
- وصف الصور ومقاطع الفيديو
- الإجابة على الأسئلة المرئية
- الإشراف على المحتوى
- أدوات إمكانية الوصول
- أنظمة الحوار متعددة الوسائط
- الروبوتات والذكاء الاصطناعي المتجسد
