الوصف
inferssd هو مشروع GitHub يركز على تمكين تنفيذ نماذج الذكاء الاصطناعي الكبيرة، وخاصة تلك التي تحتوي على هياكل «Mixture-of-Experts» (MoE)، حتى عندما يتجاوز حجمها ذاكرة الوصول العشوائي (RAM) أو ذاكرة الفيديو (VRAM) المتاحة. تكمن الابتكارات الأساسية في قدرته على بث خبراء MoE من تخزين SSD، مما يستخدم القرص بفعالية كامتداد لذاكرة النظام. هذه الطريقة تقلل بشكل كبير من متطلبات الأجهزة لتشغيل النماذج المتقدمة محليًا، مما يجعلها متاحة لمجموعة أوسع من المستخدمين والأنظمة.
قراءة المزيد
المشروع مبني على أساس llama.cpp، وهو محرك استدلال عالي الأداء لنماذج اللغة الكبيرة. من خلال الاستفادة من llama.cpp، يستفيد inferssd من قاعدة محسّنة لتنفيذ النماذج، بينما يوسع قدراته للتعامل مع نماذج ستكون كبيرة جدًا على الأجهزة الاستهلاكية العادية. هذا ذو قيمة خاصة للباحثين والمطورين والهواة الذين يرغبون في تجربة أو نشر نماذج كبيرة دون الحاجة إلى استثمار في وحدات معالجة الرسوميات (GPUs) باهظة الثمن أو كميات كبيرة من ذاكرة الوصول العشوائي.
تشمل القدرات الرئيسية إدارة ذاكرة فعالة تعطي الأولوية لبث مكونات النموذج حسب الحاجة، بدلاً من تحميل النموذج بالكامل في الذاكرة المتقلبة دفعة واحدة. يضمن هذا الآلية الديناميكية للتحميل أن الخبراء أو أجزاء النموذج النشطة فقط هي التي تقيم في RAM/VRAM، مما يقلل من بصمة الذاكرة. كما يظهر المشروع تطويرًا مستمرًا، مع التحديثات الأخيرة التي تشير إلى دعم استدلال SSD على أنظمة Windows المحمولة وتحسينات لمختلف تكوينات الأجهزة، بما في ذلك وحدات معالجة الرسوميات ذات الذاكرة الموحدة على macOS.
يهدف inferssd إلى ديمقراطية الوصول إلى نماذج الذكاء الاصطناعي الكبيرة من خلال التغلب على القيود الشائعة للأجهزة. تشجع طبيعته مفتوحة المصدر على مساهمات المجتمع والتطوير الإضافي، مما يعزز الابتكار في استدلال الذكاء الاصطناعي المحلي. هيكل المشروع، مع مكونات «engine» و«framework» المتميزة، يقترح تصميمًا معياريًا يمكن أن يسهل التوسعات المستقبلية والتكامل مع هياكل نماذج أو منصات أجهزة مختلفة.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية
- المنصاتWindows, macOS
الميزات الأساسية لـ inferssd
تشغيل نماذج أكبر من RAM أو VRAM
بث «Mixture-of-Experts» (MoE) من SSD
مبني على llama.cpp لاستدلال فعال
يدعم تنفيذ نماذج الذكاء الاصطناعي الكبيرة على الأجهزة ذات الموارد المحدودة
إدارة ذاكرة محسّنة لنماذج MoE
يمكن من الاستدلال المحلي دون ترقيات ذاكرة واسعة
تطوير مستمر مع التحديثات الأخيرة
دعم استدلال SSD على Windows للأجهزة المحمولة
تحسينات لوحدات معالجة الرسوميات ذات الذاكرة الموحدة (مثل macOS)
هيكل معماري معياري لـ «engine» و«framework»
ترخيص Apache-2.0 للاستخدام مفتوح المصدر
متاح علنًا على GitHub للتعاون
البدء مع inferssd
استنساخ المستودع: استخدم `git clone` لتنزيل مشروع inferssd من GitHub إلى جهازك المحلي.
تثبيت التبعيات: اتبع وثائق المشروع (مثل `docs` أو `README.md`) لتثبيت أدوات البناء والمكتبات اللازمة، والتي قد تشمل CMake ومترجمات محددة.
تكوين البناء: استخدم CMake لتكوين عملية البناء، مع تحديد المنصة المستهدفة وأي خيارات مرغوبة.
ترجمة المشروع: قم بترجمة الشيفرة المصدرية باستخدام نظام البناء الذي اخترته (مثل Make أو Visual Studio) لإنشاء ملفات تنفيذية لـ inferssd.
تحضير النماذج: قم بتحويل أو الحصول على نماذج MoE المتوافقة مع llama.cpp وآلية البث الخاصة بـ inferssd، مع التأكد من تنسيقها بشكل صحيح لاستدلال SSD.
تنفيذ الاستدلال: قم بتشغيل تطبيق inferssd المترجم مع النماذج المحضرة، مما يسمح له ببث الخبراء من SSD للاستدلال.
مراقبة الأداء: راقب استخدام الموارد وسرعة الاستدلال، مع إمكانية ضبط التكوينات لتحقيق الأداء الأمثل على الأجهزة الخاصة بك.
حالات استخدام inferssd
- استدلال LLM المحلي
- نشر نموذج MoE
- البحث والتطوير في الذكاء الاصطناعي
- تطبيقات الذكاء الاصطناعي على الحافة
- نموذج ذكاء اصطناعي فعال من حيث التكلفة








