الوصف
يمثل OpenLLaMA تقدمًا كبيرًا في نماذج اللغة الكبيرة مفتوحة المصدر، حيث يقدم نسخة مرخصة بشكل متساهل من نموذج LLaMA الخاص بـ Meta AI. يهدف هذا المشروع، الذي طورته openlm-research، إلى دمقرطة الوصول إلى نماذج لغوية قوية من خلال توفير أوزان ومنهجيات تدريب سهلة الوصول.
قراءة المزيد
يصدر المشروع سلسلة من النماذج، بما في ذلك إصدارات بمعاملات 3B و 7B و 13B، تم تدريبها جميعًا على تريليون رمز. تم تصميم هذه النماذج لتكون بدائل جاهزة للاستخدام لنماذج LLaMA الأصلية في التطبيقات الحالية. يوفر المشروع أوزانًا بتنسيق PyTorch، المتوافق مع مكتبة Hugging Face transformers، وتنسيق JAX للاستخدام مع إطار عمل EasyLM.
تتبع منهجية تدريب OpenLLaMA عن كثب ورقة LLaMA الأصلية، مع استخدام نفس بنية النموذج، وطول السياق، وخطوات التدريب، وجدول معدل التعلم، والمحسن. يكمن الاختلاف الرئيسي في مجموعات البيانات المستخدمة: تم تدريب نماذج v1 على مجموعة بيانات RedPajama، بينما تدمج نماذج v2 مزيجًا من مجموعة بيانات Falcon refined-web، ومجموعة بيانات StarCoder، وأجزاء من مجموعة بيانات RedPajama (Wikipedia، ArXiv، Books، StackExchange). يضمن هذا الالتزام بمجموعات البيانات المفتوحة الشفافية وقابلية التكرار.
يؤكد المشروع على التقييم والمقارنة، ويقدم نتائج مقارنة بنماذج LLaMA و GPT-J عبر مجموعة واسعة من المهام باستخدام lm-evaluation-harness. تُظهر نماذج OpenLLaMA أداءً مشابهًا، وفي بعض الحالات متفوقًا، على نظيراتها. عالج فريق التطوير أيضًا قضايا محتملة، مثل تكوينات المُرمّز التي تؤثر على مهام توليد التعليمات البرمجية، ويوصي بنماذج v2 لمثل هذه التطبيقات.
تم ترخيص OpenLLaMA بموجب ترخيص Apache 2.0، مما يعزز التبني والتعديل على نطاق واسع. المشروع هو جهد تعاوني، مع مساهمات من Berkeley AI Research ودعم من برنامج Google TPU Research Cloud. تمكّن هذه المبادرة الباحثين والمطورين من البناء والابتكار باستخدام نماذج لغوية حديثة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ OpenLLaMA
نسخة مفتوحة المصدر ومرخصة بشكل متساهل من نموذج LLaMA الخاص بـ Meta AI
متوفر بأحجام معاملات 3B و 7B و 13B
تم تدريبه على 1 تريليون رمز
الأوزان متاحة بتنسيقات PyTorch و JAX
متوافق مع Hugging Face transformers وإطار عمل EasyLM
يتبع بنية LLaMA الأصلية ومعاملات التدريب الفائقة
يستخدم مجموعات بيانات مفتوحة مثل RedPajama و Falcon refined-web و StarCoder
أداء مشابه لـ LLaMA و GPT-J الأصليين
ترخيص Apache 2.0 للاستخدام الواسع
يشمل نتائج التقييم والمقارنات
مُرمّز مصمم لدمج مسافات فارغة متعددة، مشابه لـ T5
البدء مع OpenLLaMA
الوصول إلى أوزان النموذج: قم بتنزيل أوزان PyTorch أو JAX من Hugging Face Hub أو مستودعات EasyLM.
إعداد البيئة: قم بتثبيت المكتبات الضرورية مثل transformers أو PyTorch أو JAX.
تحميل المُرمّز: استخدم LlamaTokenizer أو AutoTokenizer مع `use_fast=False` لتجنب مشاكل الترميز المحتملة.
تحميل النموذج: قم بإنشاء مثيل لـ LlamaForCausalLM من Hugging Face transformers أو ما يعادله في EasyLM.
التكامل عبر API: استخدم النموذج المحمل لتوليد النصوص أو الاستدلال أو مهام الضبط الدقيق.
تقييم الأداء: استخدم lm-evaluation-harness للمقارنة المعيارية، مع ضمان استخدام المُرمّز الصحيح.
حالات استخدام OpenLLaMA
- توليد النصوص
- فهم اللغة
- إعادة إنتاج النموذج
- البحث والتطوير
- تطوير روبوتات الدردشة
- توليد التعليمات البرمجية
