الوصف
نموذج لغة المحوّل الشرطي (CTRL) هو نموذج ذكاء اصطناعي قوي طورته Salesforce مصمم لتوليد النصوص المتحكم بها. بفضل 1.6 مليار معامل، فإنه يستفيد من بنية المحوّل لإنتاج نصوص متماسكة وذات صلة بالسياق. على عكس نماذج اللغة القياسية، يكمن الابتكار الرئيسي لـ CTRL في قدرته على ربط مخرجاته برموز تحكم محددة.
قراءة المزيد
يمكن لرموز التحكم هذه تحديد جوانب مختلفة للتوليد المطلوب، بما في ذلك المجال (مثل الأخبار، ويكيبيديا، المراجعات)، المجالات الفرعية، الكيانات، العلاقات بين الكيانات، التواريخ، والسلوكيات الخاصة بالمهمة. يتم تحقيق هذا التحكم الدقيق عن طريق اشتقاق رموز التحكم من البنية الطبيعية التي تتواجد مع النص الخام، وبالتالي الحفاظ على فوائد التعلم غير المراقب مع تقديم توجيهات أكثر وضوحًا لعملية التوليد.
النموذج مفيد بشكل خاص للباحثين والمطورين الذين يحتاجون إلى ضبط دقيق لتوليد النصوص لتطبيقات محددة. يدعم توليد النصوص من نماذج مدربة، مع توفر نقاط تحقق لأطوال تسلسل مختلفة (256 و 512). بالإضافة إلى ذلك، فإنه يوفر ميزة إسناد المصدر التي تحسب حيرة (perplexity) لموجه معين مشروطًا بكل رمز تحكم للمجال، مما يساعد على فهم فهم النموذج الخاص بالمجال.
تم دمج CTRL في مكتبة Hugging Face Transformers، مما يجعله أكثر سهولة للاستخدام على نطاق أوسع. يوفر المشروع أيضًا أدوات لتحويل نماذج TensorFlow إلى تنسيق PyTorch متوافق مع Hugging Face، مما يسهل التكامل. يؤكد تطوير النموذج على ممارسات الذكاء الاصطناعي المسؤولة، مع مراعاة سوء الاستخدام المحتمل ومشاركة المجتمع من خلال مشكلات GitHub وطلبات السحب.
تشمل القدرات الرئيسية توليد النصوص بناءً على الموجهات ورموز التحكم، وتوفير إسناد المصدر للنصوص، وتقديم دعم استدلال تجريبي في PyTorch. النموذج مناسب للمهام التي تتطلب مخرجات نصية دقيقة ومتحكم بها، مثل الكتابة الإبداعية، وتوليد المحتوى، والبحث في سلوك نماذج اللغة. يتجلى التزام المشروع بالتطوير مفتوح المصدر ومشاركة المجتمع من خلال مستودع GitHub العام والوثائق التفصيلية.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح نموذج لغة Salesforce CTRL
توليد نصوص شرطي بناءً على رموز التحكم
1.6 مليار معامل
بنية المحوّل (Transformer architecture)
يدعم التكييف الخاص بالمجال والكيانات والمهمة
ميزة إسناد المصدر لحيرة المجال
متوفر بتنسيقات TensorFlow و PyTorch
التكامل مع مكتبة Hugging Face Transformers
نقاط تحقق للنماذج لأطوال تسلسل مختلفة (256، 512)
كود للضبط الدقيق على مجموعات بيانات مخصصة
استدلال تجريبي على PyTorch
فرع لاستخدام ذاكرة أقل متاح (تكميم fp16)
البدء مع نموذج لغة Salesforce CTRL
الوصول إلى النموذج: استنساخ مستودع GitHub أو استخدام مكتبة Hugging Face Transformers.
إعداد البيئة: تثبيت TensorFlow 1.14 و fastBPE، أو PyTorch للاستدلال على PyTorch.
تطبيق تصحيح TensorFlow (إذا كنت تستخدم TF): تطبيق estimator.patch المقدم على مقدر TensorFlow.
تنزيل ملفات النموذج: الحصول على نقاط تحقق النموذج من روابط Google Cloud Storage المقدمة.
تشغيل سكربت التوليد: تنفيذ generation.py مع الموجهات ورموز التحكم المطلوبة.
تشغيل إسناد المصدر: استخدام source_attribution.py لتحليل حيرة الموجه عبر المجالات.
التكامل عبر API: استخدام Hugging Face Transformers للتكامل السلس في التطبيقات.
حالات استخدام نموذج لغة Salesforce CTRL
- توليد نصوص متحكم بها
- إنشاء المحتوى
- أبحاث الذكاء الاصطناعي
- تحليل إسناد المصدر
- مساعدة الكتابة الإبداعية
- توليد نصوص خاصة بالمجال
