تخطَّ إلى المحتوى الرئيسي
ToolPotion
مستشار الذكاء الاصطناعي
إرسال (مجاني)

inferssd

inferssd هو مشروع مفتوح المصدر على GitHub مصمم لتشغيل نماذج الذكاء الاصطناعي الكبيرة التي تتجاوز سعة ذاكرة الوصول العشوائي (RAM) أو ذاكرة الفيديو (VRAM) في نظامك. يحقق ذلك من خلال بث مكونات «Mixture-of-Experts» (MoE) بكفاءة مباشرة من تخزين SSD. مبني على إطار عمل llama.cpp، يمكّن inferssd التنفيذ المحلي للنماذج المتقدمة على الأجهزة ذات الموارد المحدودة، مما يجعل الذكاء الاصطناعي القوي متاحًا دون الحاجة إلى ترقيات ذاكرة واسعة.

عرض المستودع
مشاركة
عرض المستودع
مشاركة

inferssd هو مشروع GitHub يركز على تمكين تنفيذ نماذج الذكاء الاصطناعي الكبيرة، وخاصة تلك التي تحتوي على هياكل «Mixture-of-Experts» (MoE)، حتى عندما يتجاوز حجمها ذاكرة الوصول العشوائي (RAM) أو ذاكرة الفيديو (VRAM) المتاحة. تكمن الابتكارات الأساسية في قدرته على بث خبراء MoE من تخزين SSD، مما يستخدم القرص بفعالية كامتداد لذاكرة النظام. هذه الطريقة تقلل بشكل كبير من متطلبات الأجهزة لتشغيل النماذج المتقدمة محليًا، مما يجعلها متاحة لمجموعة أوسع من المستخدمين والأنظمة.

قراءة المزيد

المشروع مبني على أساس llama.cpp، وهو محرك استدلال عالي الأداء لنماذج اللغة الكبيرة. من خلال الاستفادة من llama.cpp، يستفيد inferssd من قاعدة محسّنة لتنفيذ النماذج، بينما يوسع قدراته للتعامل مع نماذج ستكون كبيرة جدًا على الأجهزة الاستهلاكية العادية. هذا ذو قيمة خاصة للباحثين والمطورين والهواة الذين يرغبون في تجربة أو نشر نماذج كبيرة دون الحاجة إلى استثمار في وحدات معالجة الرسوميات (GPUs) باهظة الثمن أو كميات كبيرة من ذاكرة الوصول العشوائي.

تشمل القدرات الرئيسية إدارة ذاكرة فعالة تعطي الأولوية لبث مكونات النموذج حسب الحاجة، بدلاً من تحميل النموذج بالكامل في الذاكرة المتقلبة دفعة واحدة. يضمن هذا الآلية الديناميكية للتحميل أن الخبراء أو أجزاء النموذج النشطة فقط هي التي تقيم في RAM/VRAM، مما يقلل من بصمة الذاكرة. كما يظهر المشروع تطويرًا مستمرًا، مع التحديثات الأخيرة التي تشير إلى دعم استدلال SSD على أنظمة Windows المحمولة وتحسينات لمختلف تكوينات الأجهزة، بما في ذلك وحدات معالجة الرسوميات ذات الذاكرة الموحدة على macOS.

يهدف inferssd إلى ديمقراطية الوصول إلى نماذج الذكاء الاصطناعي الكبيرة من خلال التغلب على القيود الشائعة للأجهزة. تشجع طبيعته مفتوحة المصدر على مساهمات المجتمع والتطوير الإضافي، مما يعزز الابتكار في استدلال الذكاء الاصطناعي المحلي. هيكل المشروع، مع مكونات «engine» و«framework» المتميزة، يقترح تصميمًا معياريًا يمكن أن يسهل التوسعات المستقبلية والتكامل مع هياكل نماذج أو منصات أجهزة مختلفة.

  • الفئةMLOps ونشر النماذج
  • نموذج التسعيرمفتوح المصدر
  • النشراستضافة ذاتية
  • المنصاتWindows, macOS

  • تشغيل نماذج أكبر من RAM أو VRAM

  • بث «Mixture-of-Experts» (MoE) من SSD

  • مبني على llama.cpp لاستدلال فعال

  • يدعم تنفيذ نماذج الذكاء الاصطناعي الكبيرة على الأجهزة ذات الموارد المحدودة

  • إدارة ذاكرة محسّنة لنماذج MoE

  • يمكن من الاستدلال المحلي دون ترقيات ذاكرة واسعة

  • تطوير مستمر مع التحديثات الأخيرة

  • دعم استدلال SSD على Windows للأجهزة المحمولة

  • تحسينات لوحدات معالجة الرسوميات ذات الذاكرة الموحدة (مثل macOS)

  • هيكل معماري معياري لـ «engine» و«framework»

  • ترخيص Apache-2.0 للاستخدام مفتوح المصدر

  • متاح علنًا على GitHub للتعاون

  1. استنساخ المستودع: استخدم `git clone` لتنزيل مشروع inferssd من GitHub إلى جهازك المحلي.

  2. تثبيت التبعيات: اتبع وثائق المشروع (مثل `docs` أو `README.md`) لتثبيت أدوات البناء والمكتبات اللازمة، والتي قد تشمل CMake ومترجمات محددة.

  3. تكوين البناء: استخدم CMake لتكوين عملية البناء، مع تحديد المنصة المستهدفة وأي خيارات مرغوبة.

  4. ترجمة المشروع: قم بترجمة الشيفرة المصدرية باستخدام نظام البناء الذي اخترته (مثل Make أو Visual Studio) لإنشاء ملفات تنفيذية لـ inferssd.

  5. تحضير النماذج: قم بتحويل أو الحصول على نماذج MoE المتوافقة مع llama.cpp وآلية البث الخاصة بـ inferssd، مع التأكد من تنسيقها بشكل صحيح لاستدلال SSD.

  6. تنفيذ الاستدلال: قم بتشغيل تطبيق inferssd المترجم مع النماذج المحضرة، مما يسمح له ببث الخبراء من SSD للاستدلال.

  7. مراقبة الأداء: راقب استخدام الموارد وسرعة الاستدلال، مع إمكانية ضبط التكوينات لتحقيق الأداء الأمثل على الأجهزة الخاصة بك.

  • استدلال LLM المحلي
  • نشر نموذج MoE
  • البحث والتطوير في الذكاء الاصطناعي
  • تطبيقات الذكاء الاصطناعي على الحافة
  • نموذج ذكاء اصطناعي فعال من حيث التكلفة

تقييمات inferssd

جاري التحميل...

أدوات ذكاء اصطناعي شائعة مثل inferssd

BigMoeOnEdge

مستودعات GitHub للذكاء الاصطناعي

يمكن لـ BigMoeOnEdge تشغيل نماذج Mixture of Experts (MoE) أكبر من الذاكرة العشوائية (RAM) على أجهزة متنوعة، بما في ذلك الهواتف المحمولة وأجهزة الكمبيوتر المحمولة. يستخدم مُحسِّن…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

يمكن لـ BigMoeOnEdge تشغيل نماذج Mixture of Experts (MoE) أكبر من الذاكرة العشوائية (RAM) على أجهزة متنوعة، بما في ذلك الهواتف المحمولة وأجهزة الكمبيوتر المحمولة. يستخدم مُحسِّن…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

llama-modchip

مستودعات GitHub للذكاء الاصطناعي

llama-modchip هو مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات…llama-modchip هو مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

vLLM

مستودعات GitHub للذكاء الاصطناعي

vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

MLOps ونشر النماذج

المرتبة 23 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

مميزةMLOps ونشر النماذج
المرتبة 23 في مستودعات GitHub للذكاء الاصطناعي

trnrt

مستودعات GitHub للذكاء الاصطناعي

trnrt هو محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة…

MLOps ونشر النماذج

المرتبة 160 في MLOps ونشر النماذج

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة…trnrt هو محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة…

MLOps ونشر النماذج
المرتبة 160 في MLOps ونشر النماذج

Soup

مستودعات GitHub للذكاء الاصطناعي

حساء هو مستودع على GitHub يمكّن من تحسين نماذج اللغة الكبيرة (LLMs) باستخدام ملف YAML واحد. يستخدم تقنية تدفق الطبقات لتدريب نموذج يحتوي على 8 مليار معلمة على وحدة معالجة…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

حساء هو مستودع على GitHub يمكّن من تحسين نماذج اللغة الكبيرة (LLMs) باستخدام ملف YAML واحد. يستخدم تقنية تدفق الطبقات لتدريب نموذج يحتوي على 8 مليار معلمة على وحدة معالجة…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

MNN

مستودعات GitHub للذكاء الاصطناعي

MNN هو محرك استدلال خفيف الوزن وعالي الأداء تم تطويره بواسطة Alibaba. تم تصميمه لتحسين نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي على الأجهزة، مما يوفر قدرات استدلال…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال خفيف الوزن وعالي الأداء تم تطويره بواسطة Alibaba. تم تصميمه لتحسين نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي على الأجهزة، مما يوفر قدرات استدلال…MNN هو محرك استدلال خفيف الوزن وعالي الأداء تم تطويره بواسطة Alibaba. تم تصميمه لتحسين نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي على الأجهزة، مما يوفر قدرات استدلال…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

LMDeploy

مستودعات GitHub للذكاء الاصطناعي

LMDeploy هو مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.

MLOps ونشر النماذج

المرتبة 59 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.LMDeploy هو مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.

MLOps ونشر النماذج
المرتبة 59 في مستودعات GitHub للذكاء الاصطناعي

AirLLM

مستودعات GitHub للذكاء الاصطناعي

AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج

المرتبة 73 في تعلّم الآلة وعلم البيانات

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج
المرتبة 73 في تعلّم الآلة وعلم البيانات
1 من 8