الوصف
smolmaxxing هو مستودع مفتوح المصدر على GitHub مخصص لدفع حدود تشغيل نماذج اللغة الكبيرة (LLMs) على أصغر الأجهزة الممكنة. المهمة الأساسية للمشروع هي تعظيم القدرة على نشر وتنفيذ نماذج LLM المختلفة بكفاءة على الأجهزة التي تعتبر عادةً غير قوية بما يكفي لمثل هذه المهام، بما في ذلك الهواتف الذكية، والأجهزة اللوحية، وصناديق التلفاز الذكية.
قراءة المزيد
يحتوي المستودع على مجموعة شاملة من الموارد، بما في ذلك المعايير، والبيانات، والوثائق، والأدوات. يعرض مقاييس الأداء لمختلف نماذج LLM، مثل Qwen3-Next-80B-A3B وQwen3.6-35B-A3B، التي تعمل على أجهزة محددة مثل هاتف OnePlus أو صندوق Xiaomi TV Box S. يتتبع المشروع بدقة أداء التوكن في الثانية (tok/s)، مما يوضح إمكانية تشغيل نماذج تتراوح من 260K إلى 9B معلمة على هذه الأجهزة المدمجة.
smolmaxxing يوفر نهجًا منظمًا للتجارب، مع أدلة مخصصة للأصول، والمعايير، والبيانات، والوثائق. يتضمن تصحيحات وأدوات لتسهيل عملية التحسين، بالإضافة إلى لقطات توضح تقدم المشروع. يعمل ملف `README.md` كمركز رئيسي، حيث يحتوي على لوحة نتائج لأفضل النماذج أداءً حسب فئة الحجم وروابط للنماذج المستضافة على Hugging Face.
هذا المشروع مثالي للمطورين، والباحثين، والهواة المهتمين بالذكاء الاصطناعي على الحافة، وتعلم الآلة على الأجهزة، وتحسين استدلال LLM للبيئات منخفضة الطاقة. يعزز التعاون، مع مساهمات من عدة مطورين، ويتضمن دليل `CONTRIBUTING.md` لأولئك الذين يتطلعون إلى تقديم معايير أجهزتهم أو تحسينات الكود. يشير ملف `LICENSE` إلى ترخيص MIT، مما يعزز الاستخدام المفتوح والتعديل.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ smolmaxxing
تحسين استدلال LLM على الأجهزة الصغيرة
معايير لمختلف LLMs على أجهزة متنوعة
دعم للنماذج من 260K إلى 9B معلمة
تتبع الأداء (التوكنات في الثانية)
وثائق لتحسينات محددة للأجهزة
أدوات وتصحيحات لنشر LLM
لوحة نتائج لأفضل النماذج أداءً
روابط لنماذج Hugging Face
مساهمات المجتمع ونماذج القضايا
ترخيص MIT للاستخدام المفتوح المصدر
أمثلة للهواتف، وأجهزة iPad، وصناديق التلفاز
مستودع للبحث والتطوير المستمر
البدء مع smolmaxxing
استنساخ المستودع: استخدم `git clone` للحصول على مشروع smolmaxxing على جهازك المحلي.
استكشاف الوثائق: راجع دليل `docs/` و`README.md` للحصول على نظرة عامة على المشروع، وتفاصيل الجهاز، وتعليمات الإعداد.
مراجعة المعايير: افحص أدلة `bench/` و`data/` لفهم أداء LLM الحالي على مختلف الأجهزة الصغيرة.
تثبيت التبعيات: حدد وثبت أي مكتبات أو أدوات ضرورية لتشغيل LLMs على جهازك المستهدف.
تطبيق التصحيحات/الأدوات: استخدم التصحيحات والأدوات المقدمة من أدلة `patches/` و`tools/` لتحسين تنفيذ LLM.
تشغيل التجارب: اتبع الإرشادات في `EXPERIMENT.md` لإجراء اختبارات استدلال LLM الخاصة بك على الأجهزة الصغيرة.
مساهمة النتائج: استخدم نموذج القضايا `Submit your device` أو `CONTRIBUTING.md` لمشاركة نتائجك أو تحسينات الكود.
حالات استخدام smolmaxxing
- تطوير الذكاء الاصطناعي على الحافة
- استدلال LLM على الجهاز
- تقييم الأداء
- الذكاء الاصطناعي في بيئات ذات موارد محدودة
- الذكاء الاصطناعي لأجهزة إنترنت الأشياء
- تطبيقات الذكاء الاصطناعي المحمولة








