الوصف
BigMoeOnEdge هو مشروع مصمم لتسهيل تنفيذ نماذج Mixture of Experts (MoE) التي تتجاوز الذاكرة العشوائية المتاحة على أجهزة مثل الهواتف المحمولة وأجهزة الكمبيوتر المحمولة وأجهزة الحافة. هذه الأداة مفيدة بشكل خاص للمستخدمين الذين يحتاجون إلى تشغيل نماذج كبيرة الحجم دون قيود الأجهزة التقليدية. من خلال استخدام مُحسِّن تدفق تكيفي، يضمن BigMoeOnEdge أن تعمل النماذج بدون فقد، مع الحفاظ على أداء عالٍ بغض النظر عن الأجهزة أو نظام التشغيل المستخدم.
قراءة المزيد
المشروع مبني على llama.cpp، وهو إطار عمل معروف لتنفيذ النماذج، ومصمم ليكون متوافقًا مع أي جهاز أو نظام تشغيل أو نموذج أو طريقة تقليل. تجعل هذه المرونة منه حلاً مثاليًا للمطورين والباحثين الذين يحتاجون إلى قدرات تنفيذ نماذج قوية عبر بيئات متنوعة.
يعمل BigMoeOnEdge خلف خادم محلي متوافق مع OpenAI، مما يوفر تكاملًا سلسًا للمستخدمين المألوفين بنظام OpenAI البيئي. تضمن هذه التوافقية أن يتمكن المستخدمون من الاستفادة من الأدوات والتدفقات الحالية دون تعديلات كبيرة.
المستودع يتم صيانته بنشاط، مع التحديثات الأخيرة التي تشير إلى التطوير المستمر والتحسينات. المشروع مفتوح المصدر، مما يسمح للمطورين بالمساهمة وتخصيص الأداة لتناسب الاحتياجات المحددة. مع التركيز على الوصول والأداء، يعد BigMoeOnEdge موردًا قيمًا لأولئك الذين يتطلعون إلى دفع حدود تنفيذ النماذج على الأجهزة المحدودة.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشريعمل محليًا
- المنصاتWindows, macOS, Linux
الميزات الأساسية لـ BigMoeOnEdge
تشغيل نماذج MoE أكبر من الذاكرة العشوائية
مُحسِّن تدفق تكيفي
أداء خالي من الفقد
متوافق مع أي جهاز
يدعم أي نظام تشغيل
يعمل مع أي نموذج
خادم متوافق مع OpenAI
مبني على llama.cpp
البدء مع BigMoeOnEdge
استنساخ: تحميل المستودع من GitHub
تثبيت التبعيات: إعداد المكتبات والأدوات اللازمة
تكوين: ضبط الإعدادات لجهازك ونموذجك المحدد
تنفيذ: تشغيل نماذج MoE باستخدام السكربتات المقدمة
تحسين: استخدام المُحسِّن التدفق التكيفي للحصول على أفضل أداء
حالات استخدام BigMoeOnEdge
- تنفيذ النماذج على الهواتف المحمولة
- الحوسبة على الحافة
- التوافق عبر الأنظمة
- البحث والتطوير
- التكامل مع OpenAI







