تخطَّ إلى المحتوى الرئيسي
ToolPotion
مستشار الذكاء الاصطناعي
إرسال (مجاني)

llama-modchip

llama-modchip هو مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات عالية من الرموز في الثانية ونافذة سياق 256K، مع دمج ميزات متقدمة مثل SwiGLU-H2 واستعادة كود Claude لتحسين نشر نماذج الذكاء الاصطناعي والوصول إليها.

عرض المستودع
مشاركة
عرض المستودع
مشاركة

llama-modchip هو مشروع مفتوح المصدر على GitHub مصمم لتحسين تنفيذ نماذج اللغة الكبيرة (LLMs) على أجهزة CPU التقليدية، مستهدفًا بشكل خاص الأنظمة التي تحتوي على 64GB من الذاكرة العشوائية وبدون وحدات معالجة رسومية مخصصة. يُظهر المشروع القدرة على تشغيل نماذج مثل 284B DeepSeek-V4-Flash باستخدام أقل من 59GiB من الذاكرة العشوائية، محققًا مقاييس أداء مثيرة للإعجاب مثل 44.4 رمز في الثانية (pp) و9.1-14.7 رمز في الثانية بشكل عام. كما يدعم أيضًا نماذج 30B Mixture of Experts (MoE)، موفرًا سرعات تتراوح بين 25-111 رمز في الثانية.

قراءة المزيد

تكمن الابتكارات الأساسية في llama-modchip في قدرته على استغلال موارد المعالج بكفاءة، مما يوفر حلاً فعالاً من حيث التكلفة وسهل الوصول للباحثين والمطورين والهواة الذين قد لا تتوفر لديهم بنية تحتية عالية الجودة لوحدات معالجة الرسوميات. هذا مهم بشكل خاص للنماذج التي تتطلب نافذة سياق كبيرة، حيث يدعم المشروع حتى 256K من السياق، مما يسمح بإمكانيات معالجة محادثات أو مستندات واسعة.

بعيدًا عن الأداء الخام، يدمج llama-modchip العديد من الميزات المتقدمة والتحسينات. تشمل هذه الميزات SwiGLU-H2، وهي دالة تنشيط فعالة للغاية، وStockfish-PVS L3، والتي تشير على الأرجح إلى خوارزمية بحث محسّنة أو بنية بيانات، مما يعزز قدرات التفكير أو المعالجة للنموذج. كما يبرز المشروع ميزة "استعادة كود Claude في 13 مللي ثانية"، مما يشير إلى استعادة سريعة أو دمج للوظائف المتعلقة بالكود، مما قد يحسن سير العمل في التطوير أو مهام توليد الكود.

تشير بنية المستودع إلى تطوير مستمر وتركيز على جوانب مختلفة من نشر النماذج وتحسينها. تشير الأدلة مثل `apple-silicon` إلى تحسينات محددة لشرائح M-series من Apple، بينما توفر `benchmarks` و`docs` بيانات أداء وتفسيرات مفصلة. تشير وجود مجلدات `patches` و`speculative` إلى جهود التحسين المستمر وتعزيز الأمان. بشكل عام، يهدف llama-modchip إلى دفع حدود ما هو ممكن مع استدلال LLMs باستخدام CPU فقط، مما يجعل نماذج الذكاء الاصطناعي المتقدمة متاحة بشكل أوسع.

  • الفئةMLOps ونشر النماذج
  • نموذج التسعيرمفتوح المصدر
  • النشراستضافة ذاتية
  • المنصاتLinux, Windows

  • تشغيل 284B DeepSeek-V4-Flash على معالج CPU بسعة 64GB

  • تحقيق 44.4 رمز/ثانية pp لـ DeepSeek-V4-Flash

  • دعم نماذج 30B Mixture of Experts (MoE)

  • العمل مع نافذة سياق 256K على المعالج

  • استخدام تحسين SwiGLU-H2

  • دمج Stockfish-PVS L3

  • ميزة استعادة كود Claude في 13 مللي ثانية

  • محسن لاستخدام أقل من 59GiB من الذاكرة العشوائية

  • يتضمن تحسينات محددة لشرائح Apple Silicon

  • يوفر بيانات أداء مفصلة ووثائق

  • يقدم تعزيزات أمنية وتصحيحات

  • يدعم أنظمة تشغيل متنوعة (مثل Fedora وWindows)

  1. استنساخ المستودع: استخدم `git clone` لتنزيل مشروع llama-modchip من GitHub.

  2. مراجعة الوثائق: استشر ملفات `README.md` و`ARCHITECTURE.md` و`FAQ.md` للحصول على تعليمات إعداد مفصلة ومتطلبات النظام.

  3. تثبيت التبعيات: نفذ سكربت `install.sh` أو اتبع التعليمات اليدوية لإعداد المكتبات والأدوات اللازمة.

  4. تكوين البيئة: اضبط الإعدادات لتناسب بنية المعالج وتهيئة الذاكرة العشوائية الخاصة بك كما هو موضح في الوثائق.

  5. تشغيل النماذج: اتبع السكربتات أو الأوامر المقدمة لتحميل وتنفيذ نماذج DeepSeek-V4-Flash أو MoE.

  6. مراقبة الأداء: استخدم أدوات القياس الموجودة في المستودع لتقييم معدلات الرموز في الثانية واستخدام الموارد.

  • استدلال LLM باستخدام CPU فقط
  • تطوير الذكاء الاصطناعي في ظل قيود الذاكرة
  • معالجة نافذة سياق كبيرة
  • نشر نموذج MoE بكفاءة
  • البحث والتجريب في الذكاء الاصطناعي
  • توليد واستعادة الكود

تقييمات llama-modchip

جاري التحميل...

أدوات ذكاء اصطناعي شائعة مثل llama-modchip

BigMoeOnEdge

مستودعات GitHub للذكاء الاصطناعي

يمكن لـ BigMoeOnEdge تشغيل نماذج Mixture of Experts (MoE) أكبر من الذاكرة العشوائية (RAM) على أجهزة متنوعة، بما في ذلك الهواتف المحمولة وأجهزة الكمبيوتر المحمولة. يستخدم مُحسِّن…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

يمكن لـ BigMoeOnEdge تشغيل نماذج Mixture of Experts (MoE) أكبر من الذاكرة العشوائية (RAM) على أجهزة متنوعة، بما في ذلك الهواتف المحمولة وأجهزة الكمبيوتر المحمولة. يستخدم مُحسِّن…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

Soup

مستودعات GitHub للذكاء الاصطناعي

حساء هو مستودع على GitHub يمكّن من تحسين نماذج اللغة الكبيرة (LLMs) باستخدام ملف YAML واحد. يستخدم تقنية تدفق الطبقات لتدريب نموذج يحتوي على 8 مليار معلمة على وحدة معالجة…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

حساء هو مستودع على GitHub يمكّن من تحسين نماذج اللغة الكبيرة (LLMs) باستخدام ملف YAML واحد. يستخدم تقنية تدفق الطبقات لتدريب نموذج يحتوي على 8 مليار معلمة على وحدة معالجة…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

vLLM

مستودعات GitHub للذكاء الاصطناعي

vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

MLOps ونشر النماذج

المرتبة 23 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

مميزةMLOps ونشر النماذج
المرتبة 23 في مستودعات GitHub للذكاء الاصطناعي

mlc-llm

مستودعات GitHub للذكاء الاصطناعي

mlc-llm هو محرك نشر LLM عالمي يستخدم تجميع التعلم الآلي لتبسيط عملية النشر. تم تصميمه لتعزيز كفاءة وقابلية توسيع نشر نماذج اللغة الكبيرة عبر منصات متنوعة.

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك نشر LLM عالمي يستخدم تجميع التعلم الآلي لتبسيط عملية النشر. تم تصميمه لتعزيز كفاءة وقابلية توسيع نشر نماذج اللغة الكبيرة عبر منصات متنوعة.mlc-llm هو محرك نشر LLM عالمي يستخدم تجميع التعلم الآلي لتبسيط عملية النشر. تم تصميمه لتعزيز كفاءة وقابلية توسيع نشر نماذج اللغة الكبيرة عبر منصات متنوعة.

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

trnrt

مستودعات GitHub للذكاء الاصطناعي

trnrt هو محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة…

MLOps ونشر النماذج

المرتبة 160 في MLOps ونشر النماذج

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة…trnrt هو محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة…

MLOps ونشر النماذج
المرتبة 160 في MLOps ونشر النماذج

AirLLM

مستودعات GitHub للذكاء الاصطناعي

AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج

المرتبة 73 في تعلّم الآلة وعلم البيانات

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج
المرتبة 73 في تعلّم الآلة وعلم البيانات

LMDeploy

مستودعات GitHub للذكاء الاصطناعي

LMDeploy هو مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.

MLOps ونشر النماذج

المرتبة 59 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.LMDeploy هو مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.

MLOps ونشر النماذج
المرتبة 59 في مستودعات GitHub للذكاء الاصطناعي

FlashInfer

مستودعات GitHub للذكاء الاصطناعي

FlashInfer هي مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.FlashInfer هي مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي
1 من 8