OpenLLaMA

الوصف

يمثل OpenLLaMA تقدمًا كبيرًا في نماذج اللغة الكبيرة مفتوحة المصدر، حيث يقدم نسخة مرخصة بشكل متساهل من نموذج LLaMA الخاص بـ Meta AI. يهدف هذا المشروع، الذي طورته openlm-research، إلى دمقرطة الوصول إلى نماذج لغوية قوية من خلال توفير أوزان ومنهجيات تدريب سهلة الوصول.

يصدر المشروع سلسلة من النماذج، بما في ذلك إصدارات بمعاملات 3B و 7B و 13B، تم تدريبها جميعًا على تريليون رمز. تم تصميم هذه النماذج لتكون بدائل جاهزة للاستخدام لنماذج LLaMA الأصلية في التطبيقات الحالية. يوفر المشروع أوزانًا بتنسيق PyTorch، المتوافق مع مكتبة Hugging Face transformers، وتنسيق JAX للاستخدام مع إطار عمل EasyLM.

تتبع منهجية تدريب OpenLLaMA عن كثب ورقة LLaMA الأصلية، مع استخدام نفس بنية النموذج، وطول السياق، وخطوات التدريب، وجدول معدل التعلم، والمحسن. يكمن الاختلاف الرئيسي في مجموعات البيانات المستخدمة: تم تدريب نماذج v1 على مجموعة بيانات RedPajama، بينما تدمج نماذج v2 مزيجًا من مجموعة بيانات Falcon refined-web، ومجموعة بيانات StarCoder، وأجزاء من مجموعة بيانات RedPajama (Wikipedia، ArXiv، Books، StackExchange). يضمن هذا الالتزام بمجموعات البيانات المفتوحة الشفافية وقابلية التكرار.

يؤكد المشروع على التقييم والمقارنة، ويقدم نتائج مقارنة بنماذج LLaMA و GPT-J عبر مجموعة واسعة من المهام باستخدام lm-evaluation-harness. تُظهر نماذج OpenLLaMA أداءً مشابهًا، وفي بعض الحالات متفوقًا، على نظيراتها. عالج فريق التطوير أيضًا قضايا محتملة، مثل تكوينات المُرمّز التي تؤثر على مهام توليد التعليمات البرمجية، ويوصي بنماذج v2 لمثل هذه التطبيقات.

تم ترخيص OpenLLaMA بموجب ترخيص Apache 2.0، مما يعزز التبني والتعديل على نطاق واسع. المشروع هو جهد تعاوني، مع مساهمات من Berkeley AI Research ودعم من برنامج Google TPU Research Cloud. تمكّن هذه المبادرة الباحثين والمطورين من البناء والابتكار باستخدام نماذج لغوية حديثة.

أبرز ملامح OpenLLaMA

• نسخة مفتوحة المصدر ومرخصة بشكل متساهل من نموذج LLaMA الخاص بـ Meta AI

• متوفر بأحجام معاملات 3B و 7B و 13B

• تم تدريبه على 1 تريليون رمز

• الأوزان متاحة بتنسيقات PyTorch و JAX

• متوافق مع Hugging Face transformers وإطار عمل EasyLM

• يتبع بنية LLaMA الأصلية ومعاملات التدريب الفائقة

• يستخدم مجموعات بيانات مفتوحة مثل RedPajama و Falcon refined-web و StarCoder

• أداء مشابه لـ LLaMA و GPT-J الأصليين

• ترخيص Apache 2.0 للاستخدام الواسع

• يشمل نتائج التقييم والمقارنات

• مُرمّز مصمم لدمج مسافات فارغة متعددة، مشابه لـ T5

البدء مع OpenLLaMA

1. 1

   الوصول إلى أوزان النموذج: قم بتنزيل أوزان PyTorch أو JAX من Hugging Face Hub أو مستودعات EasyLM.

2. 2

   إعداد البيئة: قم بتثبيت المكتبات الضرورية مثل transformers أو PyTorch أو JAX.

3. 3

   تحميل المُرمّز: استخدم LlamaTokenizer أو AutoTokenizer مع `use_fast=False` لتجنب مشاكل الترميز المحتملة.

4. 4

   تحميل النموذج: قم بإنشاء مثيل لـ LlamaForCausalLM من Hugging Face transformers أو ما يعادله في EasyLM.

5. 5

   التكامل عبر API: استخدم النموذج المحمل لتوليد النصوص أو الاستدلال أو مهام الضبط الدقيق.

6. 6

   تقييم الأداء: استخدم lm-evaluation-harness للمقارنة المعيارية، مع ضمان استخدام المُرمّز الصحيح.

حالات استخدام OpenLLaMA

• توليد النصوص
• فهم اللغة
• إعادة إنتاج النموذج
• البحث والتطوير
• تطوير روبوتات الدردشة
• توليد التعليمات البرمجية

الأسئلة الشائعة من OpenLLaMA

• ما هو OpenLLaMA؟

  OpenLLaMA هو نسخة مفتوحة المصدر ومرخصة بشكل متساهل من نموذج اللغة الكبير LLaMA الخاص بـ Meta AI، وهو متاح بأحجام معاملات 3B و 7B و 13B.

• ما هي مجموعات البيانات التي تم استخدامها لتدريب OpenLLaMA؟

  تم تدريب نماذج v1 على مجموعة بيانات RedPajama. تم تدريب نماذج v2 على مزيج من مجموعة بيانات Falcon refined-web، ومجموعة بيانات StarCoder، وأجزاء من مجموعة بيانات RedPajama.

• ما هي أحجام النماذج المتاحة لـ OpenLLaMA؟

  OpenLLaMA متاح بأحجام معاملات 3B و 7B و 13B.

• بأي تنسيقات تم إصدار أوزان نموذج OpenLLaMA؟

  تم إصدار أوزان النموذج بتنسيق PyTorch لمكتبة Hugging Face transformers وتنسيق JAX لإطار عمل EasyLM.

• ما هو الترخيص الذي يستخدمه OpenLLaMA؟

  OpenLLaMA مرخص بموجب ترخيص Apache 2.0.

• هل يمكن استخدام OpenLLaMA كبديل جاهز للاستخدام لـ LLaMA؟

  نعم، تم تصميم أوزان النموذج لتكون بديلاً جاهزًا للاستخدام لـ LLaMA في التطبيقات الحالية.

• هل هناك أي مشاكل معروفة مع مُرمّز OpenLLaMA؟

  كان لدى مُرمّز v1 مشاكل مع الأسطر الجديدة وتوليد التعليمات البرمجية بسبب دمج المسافات الفارغة. بالنسبة للمهام المتعلقة بالتعليمات البرمجية، يُنصح باستخدام نماذج v2.

• كيف يقارن أداء OpenLLaMA بالنماذج الأخرى؟

  يُظهر OpenLLaMA أداءً مشابهًا لـ LLaMA و GPT-J الأصليين عبر غالبية المهام، ويتفوق عليهما في بعض المهام.

• من قام بتطوير OpenLLaMA؟

  تم تطوير OpenLLaMA بواسطة Xinyang Geng و Hao Liu من Berkeley AI Research.

• أين يمكنني العثور على أوزان نموذج OpenLLaMA؟

  يمكن العثور على أوزان النموذج على Hugging Face Hub لإصدارات PyTorch وهي متاحة لـ EasyLM.