الوصف
يمثل مشروع StableLM، الذي تستضيفه Stability AI على GitHub، جهدًا كبيرًا في تطوير نماذج اللغة الكبيرة (LLMs) مفتوحة المصدر. يعمل هذا المستودع كمركز رئيسي للبحث والتطوير المستمر لسلسلة StableLM، ويتم تحديثه باستمرار بنقاط فحص نماذج جديدة وتطورات.
قراءة المزيد
في جوهره، يهدف StableLM إلى توفير نماذج لغة قوية ومتاحة لمجتمع الذكاء الاصطناعي. أصدر المشروع العديد من النماذج البارزة، بما في ذلك StableLM-3B-4E1T، وهو نموذج بـ 3 مليارات معلمة تم تدريبه مسبقًا في ظل نظام متعدد الدورات للتحقيق في تأثير الرموز المتكررة على الأداء. تم تدريب هذا النموذج على 1 تريليون رمز لمدة 4 دورات، مستوحى من الأبحاث حول توسيع نطاق نماذج اللغة المقيدة بالبيانات. بنيته هي محول يعتمد على فك التشفير فقط، مشابه لـ LLaMA، مع تعديلات محددة مثل Rotary Position Embeddings و LayerNorm.
تشمل التكرارات الإضافية نماذج StableLM-Alpha v2، المتوفرة بأحجام 3B و 7B معلمة. تتضمن هذه النماذج تحسينات معمارية مثل SwiGLU وتستخدم مصادر بيانات أعلى جودة، مما يعزز بشكل كبير الأداء اللاحق. تتضمن بيانات التدريب لهذه النماذج مزيجًا مفلترًا من مجموعات البيانات مفتوحة المصدر مثل Falcon RefinedWeb، و RedPajama-Data، و The Pile، و StarCoder، مع التركيز القوي على نص الويب. طول السياق لهذه النماذج هو 4096 رمزًا.
طورت Stability AI أيضًا StableVicuna، وهو ضبط دقيق لـ Vicuna-13B باستخدام RLHF، يهدف إلى إنشاء روبوت محادثة LLM مفتوح المصدر يعتمد على RLHF. نظرًا لترخيص LLaMA غير التجاري، يتم إصدار أوزان StableVicuna كدلتا فوق النموذج الأصلي.
يوفر المستودع موارد للمطورين للبدء، بما في ذلك أدلة البدء السريع ومقتطفات التعليمات البرمجية النموذجية لتشغيل الاستدلال مع نماذج مثل StableLM-Tuned-Alpha-7B على Hugging Face. يشجع المشروع مشاركة المجتمع، ويسعى للحصول على مساهمات لترحيل llama.cpp والاندماج مع Open Assistant لجمع بيانات التغذية الراجعة. يُنصح المستخدمون بأنه، كما هو الحال مع أي LLM مدرب مسبقًا، قد تختلف جودة الاستجابات وقد تتضمن محتوى مسيئًا، ومن المتوقع أن يتحسن هذا مع مزيد من التطوير وتغذية راجعة المجتمع.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ StableLM
مستودع تطوير نماذج لغة مفتوحة المصدر
يستضيف سلسلة نماذج لغة StableLM
يتم تحديثه باستمرار بنقاط فحص جديدة
يشمل نماذج مثل StableLM-3B-4E1T
يحتوي على نماذج StableLM-Alpha v2 (3B و 7B)
يوفر StableVicuna، وهو ضبط دقيق لـ RLHF
يقدم تقارير فنية ونظرات عامة على النماذج
يشمل تعليمات برمجية نموذجية للاستدلال
يشجع على مساهمات المجتمع والتغذية الراجعة
النماذج متاحة بموجب تراخيص CC BY-SA-4.0 و CC BY-NC-SA-4.0
التعليمات البرمجية مرخصة بموجب ترخيص Apache 2.0
البدء مع StableLM
استنساخ: استنسخ المستودع إلى جهازك المحلي.
تثبيت التبعيات: قم بتثبيت المكتبات والأطر اللازمة.
تنزيل النموذج: احصل على نقاط فحص نموذج StableLM المطلوبة من Hugging Face.
التكوين: قم بإعداد البيئة والمعلمات للاستدلال أو الضبط الدقيق.
التنفيذ: قم بتشغيل البرامج النصية المقدمة للاستدلال أو استخدام النموذج المخصص.
التكامل: قم بدمج النماذج في تطبيقاتك أو مشاريعك البحثية.
حالات استخدام StableLM
- أبحاث نماذج اللغة
- تطوير روبوتات المحادثة بالذكاء الاصطناعي
- توليد النصوص
- فهم اللغة الطبيعية
- الضبط الدقيق لمهام محددة
- تطوير الذكاء الاصطناعي مفتوح المصدر
