الوصف
يمثل RETRO، أو Retrieval Enhanced Transformers، نهجًا مبتكرًا لتحسين نماذج اللغة من خلال دمج آليات الاسترجاع مباشرة في بنية المحول. على عكس نماذج اللغة الكبيرة التقليدية (LLMs) التي تعتمد فقط على زيادة عدد المعلمات وحجم بيانات التدريب، يعزز RETRO أساس المحول الخاص به بالقدرة على استرجاع مقاطع نصية ذات صلة من قاعدة بيانات ضخمة. يمكن أن تحتوي قاعدة البيانات هذه على تريليونات من الرموز (tokens)، وتشمل مجموعة واسعة من أنواع النصوص مثل صفحات الويب والكتب والمقالات الإخبارية والتعليمات البرمجية.
قراءة المزيد
يكمن الابتكار الأساسي لـ RETRO في قدرته على الوصول إلى مجموعة بيانات التدريب بأكملها من خلال نظام الاسترجاع الخاص به، بدلاً من أن يقتصر على البيانات التي تمت رؤيتها أثناء التدريب. يتم تحقيق ذلك عن طريق إجراء عمليات بحث عن أقرب جار لمقاطع نصية مشابهة للمدخلات، وإرجاع هذه المقاطع واستمراراتها. ثم تُعلم هذه التسلسلات المسترجعة تنبؤ النموذج بالجزء التالي من النص. تقوم بنية RETRO بدمج الانتباه الذاتي القياسي على مستوى المستند مع الانتباه المتقاطع (cross-attention) إلى هذه الجيران المسترجعة على مستوى مقطع أدق.
تؤدي هذه العملية المعززة بالاسترجاع إلى استمرارات نصية أكثر دقة وواقعية بشكل ملحوظ. علاوة على ذلك، يعزز RETRO قابلية تفسير تنبؤات النموذج ويوفر مسارًا للتدخلات المباشرة عبر قاعدة بيانات الاسترجاع لتحسين سلامة وموثوقية النص المُنشأ. تُظهر النتائج التجريبية على معايير مثل Pile أن نموذج RETRO الذي يحتوي على 7.5 مليار معلمة يمكن أن يتفوق على المحولات القياسية الأكبر حجمًا بشكل كبير، مثل Jurassic-1 (175 مليار معلمة) و Gopher (280 مليار معلمة)، على العديد من مجموعات البيانات. لوحظ أن أداء RETRO يتحسن باستمرار مع زيادة حجم قاعدة بيانات الاسترجاع، مما يدل على قابليته للتوسع وفعاليته حتى 2 تريليون رمز على الأقل.
يُعد RETRO مفيدًا بشكل خاص للتطبيقات التي تتطلب دقة واقعية عالية والالتزام بالموضوع. من خلال الاستفادة من المعرفة الخارجية عبر الاسترجاع، يمكنه إنشاء مخرجات أكثر رسوخًا وصلة بالموضوع. هذا يجعله أداة قوية للباحثين والمطورين الذين يتطلعون إلى دفع حدود قدرات نماذج اللغة إلى ما هو أبعد مما يمكن تحقيقه بمجرد توسيع نطاق المعلمات. إن قدرة النموذج على البقاء في الموضوع وتوليد معلومات صحيحة، كما هو موضح في العينات التجريبية، تؤكد مزاياه العملية.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح نموذج لغة RETRO
بنية محول معززة بالاسترجاع
الوصول إلى قاعدة بيانات تريليونات الرموز
دمج الانتباه الذاتي والانتباه المتقاطع
تحسين الدقة الواقعية
تعزيز الالتزام بالموضوع
زيادة قابلية تفسير التنبؤات
مسار للتدخل المباشر عبر قاعدة بيانات الاسترجاع
تحسين مستمر للأداء مع حجم قاعدة البيانات
يتفوق على المحولات القياسية الأكبر حجمًا في المعايير
قابل للتوسع حتى 2 تريليون رمز
البدء مع نموذج لغة RETRO
الوصول إلى النموذج: الحصول على الوصول إلى نموذج RETRO.
المصادقة: إعداد بيانات اعتماد المصادقة اللازمة.
إعداد البيئة: تكوين بيئة التطوير الخاصة بك.
التكامل عبر API: استخدام نقاط نهاية API المقدمة للتكامل.
التحسين: ضبط المعلمات وإعدادات الاسترجاع لمهام محددة.
حالات استخدام نموذج لغة RETRO
- توليد النصوص الواقعية
- إنشاء محتوى ملتزم بالموضوع
- فهم لغوي معزز
- البحث والتطوير
- أبحاث سلامة الذكاء الاصطناعي
- توليد التعليمات البرمجية
- تكامل استرجاع المعلومات
