الوصف
llama-modchip هو مشروع مفتوح المصدر على GitHub مصمم لتحسين تنفيذ نماذج اللغة الكبيرة (LLMs) على أجهزة CPU التقليدية، مستهدفًا بشكل خاص الأنظمة التي تحتوي على 64GB من الذاكرة العشوائية وبدون وحدات معالجة رسومية مخصصة. يُظهر المشروع القدرة على تشغيل نماذج مثل 284B DeepSeek-V4-Flash باستخدام أقل من 59GiB من الذاكرة العشوائية، محققًا مقاييس أداء مثيرة للإعجاب مثل 44.4 رمز في الثانية (pp) و9.1-14.7 رمز في الثانية بشكل عام. كما يدعم أيضًا نماذج 30B Mixture of Experts (MoE)، موفرًا سرعات تتراوح بين 25-111 رمز في الثانية.
قراءة المزيد
تكمن الابتكارات الأساسية في llama-modchip في قدرته على استغلال موارد المعالج بكفاءة، مما يوفر حلاً فعالاً من حيث التكلفة وسهل الوصول للباحثين والمطورين والهواة الذين قد لا تتوفر لديهم بنية تحتية عالية الجودة لوحدات معالجة الرسوميات. هذا مهم بشكل خاص للنماذج التي تتطلب نافذة سياق كبيرة، حيث يدعم المشروع حتى 256K من السياق، مما يسمح بإمكانيات معالجة محادثات أو مستندات واسعة.
بعيدًا عن الأداء الخام، يدمج llama-modchip العديد من الميزات المتقدمة والتحسينات. تشمل هذه الميزات SwiGLU-H2، وهي دالة تنشيط فعالة للغاية، وStockfish-PVS L3، والتي تشير على الأرجح إلى خوارزمية بحث محسّنة أو بنية بيانات، مما يعزز قدرات التفكير أو المعالجة للنموذج. كما يبرز المشروع ميزة "استعادة كود Claude في 13 مللي ثانية"، مما يشير إلى استعادة سريعة أو دمج للوظائف المتعلقة بالكود، مما قد يحسن سير العمل في التطوير أو مهام توليد الكود.
تشير بنية المستودع إلى تطوير مستمر وتركيز على جوانب مختلفة من نشر النماذج وتحسينها. تشير الأدلة مثل `apple-silicon` إلى تحسينات محددة لشرائح M-series من Apple، بينما توفر `benchmarks` و`docs` بيانات أداء وتفسيرات مفصلة. تشير وجود مجلدات `patches` و`speculative` إلى جهود التحسين المستمر وتعزيز الأمان. بشكل عام، يهدف llama-modchip إلى دفع حدود ما هو ممكن مع استدلال LLMs باستخدام CPU فقط، مما يجعل نماذج الذكاء الاصطناعي المتقدمة متاحة بشكل أوسع.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية
- المنصاتLinux, Windows
الميزات الأساسية لـ llama-modchip
تشغيل 284B DeepSeek-V4-Flash على معالج CPU بسعة 64GB
تحقيق 44.4 رمز/ثانية pp لـ DeepSeek-V4-Flash
دعم نماذج 30B Mixture of Experts (MoE)
العمل مع نافذة سياق 256K على المعالج
استخدام تحسين SwiGLU-H2
دمج Stockfish-PVS L3
ميزة استعادة كود Claude في 13 مللي ثانية
محسن لاستخدام أقل من 59GiB من الذاكرة العشوائية
يتضمن تحسينات محددة لشرائح Apple Silicon
يوفر بيانات أداء مفصلة ووثائق
يقدم تعزيزات أمنية وتصحيحات
يدعم أنظمة تشغيل متنوعة (مثل Fedora وWindows)
البدء مع llama-modchip
استنساخ المستودع: استخدم `git clone` لتنزيل مشروع llama-modchip من GitHub.
مراجعة الوثائق: استشر ملفات `README.md` و`ARCHITECTURE.md` و`FAQ.md` للحصول على تعليمات إعداد مفصلة ومتطلبات النظام.
تثبيت التبعيات: نفذ سكربت `install.sh` أو اتبع التعليمات اليدوية لإعداد المكتبات والأدوات اللازمة.
تكوين البيئة: اضبط الإعدادات لتناسب بنية المعالج وتهيئة الذاكرة العشوائية الخاصة بك كما هو موضح في الوثائق.
تشغيل النماذج: اتبع السكربتات أو الأوامر المقدمة لتحميل وتنفيذ نماذج DeepSeek-V4-Flash أو MoE.
مراقبة الأداء: استخدم أدوات القياس الموجودة في المستودع لتقييم معدلات الرموز في الثانية واستخدام الموارد.
حالات استخدام llama-modchip
- استدلال LLM باستخدام CPU فقط
- تطوير الذكاء الاصطناعي في ظل قيود الذاكرة
- معالجة نافذة سياق كبيرة
- نشر نموذج MoE بكفاءة
- البحث والتجريب في الذكاء الاصطناعي
- توليد واستعادة الكود








