الوصف
AliceAI-Foundation-80B-A3B-Base هو نموذج لغوي أساسي تم تطويره بواسطة Yandex، ومُستضاف على Hugging Face. تم تصميمه بهيكل هجيني يتضمن طبقات Mixture of Experts (MoE)، ويتميز بإجمالي 80 مليار معلمة، مع 3 مليار نشطة لكل توكن. يدعم النموذج طول سياق يصل إلى 262,144 توكن، مما يجعله مناسبًا للتعامل مع مدخلات نصية واسعة.
قراءة المزيد
تم تدريب النموذج من الصفر، مع مجموعة تدريب جديدة تم تجميعها بعناية ومعمارية ومعلمات فرعية مختارة بعناية. يتمتع بقوة خاصة في المهام التي تتعلق بالمعرفة الواقعية باللغة الروسية، متفوقًا على نماذج مفتوحة المصدر الأكبر في هذا المجال. يتم التحقق من أداء النموذج من خلال معايير مثل WikiWebFacts وHardMultiQA، التي تركز على السياقات الروسية.
AliceAI-Foundation-80B-A3B-Base هو نموذج لغوي تلقائي، حاليًا في مرحلة ما قبل التدريب. يتميز بحجم حالة مخفية يبلغ 2048، وحجم مفردات يبلغ 129,024، ويتكون من 48 طبقة. تشمل بنية النموذج 12 كتلة من 3 KDA إلى طبقات MoE تليها 1 طبقة Gated Attention إلى MoE.
تظهر قدرات النموذج من خلال معايير مختلفة، حيث يظهر نتائج تنافسية في الرياضيات، والبرمجة، ومهام التفكير. إنه فعال بشكل خاص في مهام المعرفة الواقعية باللغة الروسية، كما يتضح من أدائه في معايير WikiWebFacts وHardMultiQA.
AliceAI-Foundation-80B-A3B-Base متاح للاستخدام من خلال مكتبة Transformers، مع إصدار مرجعي 5.16.1. يمكن أيضًا نشره باستخدام vLLM، مما يتطلب Docker وNVIDIA Container Toolkit للتنفيذ. النموذج مفتوح لمزيد من التخصيص والتكيف مع مهام محددة، مع دعم لتخصيص LoRA المقدم في المستودع.
هذا النموذج مخصص أساسًا للبحث، والتجريب، والتطوير المستقبلي. إنه ليس حلاً جاهزًا للاستخدام للمنتجات والخدمات النهائية. يُنصح المستخدمون بإجراء اختباراتهم الخاصة وتنفيذ التخصيصات اللازمة وتدابير التحكم قبل نشر النموذج في بيئات الإنتاج.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح AliceAI-Foundation-80B-A3B-Base
80 مليار معلمة
3 مليار معلمة نشطة لكل توكن
بنية هجينة مع طبقات MoE
يدعم طول سياق يصل إلى 262,144 توكن
أداء قوي في مهام المعرفة الواقعية باللغة الروسية
تم تدريبه من الصفر
متاح من خلال Transformers وvLLM
يدعم تخصيص LoRA
البدء مع AliceAI-Foundation-80B-A3B-Base
الوصول إلى صفحة النموذج: زيارة Hugging Face
المصادقة: تسجيل الدخول إلى حسابك
التكوين: إعداد معلمات النموذج
إرسال المطالبات: إدخال استفساراتك النصية
تخصيص: تكييف النموذج لمهام محددة
حالات استخدام AliceAI-Foundation-80B-A3B-Base
- استرجاع المعرفة الواقعية
- حل المشكلات الرياضية
- مساعدة البرمجة
- فهم اللغة
- البحث والتطوير
