الوصف
oMLX هو خادم استدلال متطور مصمم خصيصًا لنظام macOS، يستفيد من قوة رقائق Apple Silicon. مبني على إطار عمل MLX، يقدم حلاً محليًا لتشغيل نماذج اللغة الكبيرة (LLMs) على أجهزة Mac. واحدة من ميزاته البارزة هي تخزين مؤقت SSD KV المُقسم، الذي يقلل بشكل كبير من الوقت للوصول إلى الرمز الأول (TTFT) من 30-90 ثانية إلى أقل من 5 ثوانٍ. هذه التحسينات مفيدة بشكل خاص لوكلاء البرمجة الذين يقومون بإبطال التخزين المؤقت بشكل متكرر، حيث يضمن oMLX أن كل كتلة تخزين مؤقت يتم الاحتفاظ بها على SSD، مما يسمح بالاستعادة السريعة من القرص.
قراءة المزيد
الخادم متوافق مع واجهات برمجة التطبيقات الشهيرة مثل OpenAI وAnthropic، مما يجعله أداة متعددة الاستخدامات للمطورين الذين يعملون مع هذه المنصات. يدعم التجميع المستمر ويوفر واجهة برمجة تطبيقات سهلة الاستخدام لنماذج مثل Claude Code وOpenClaw وCursor، مما يضمن تسليم الردود في ثوانٍ معدودة. تظهر معايير الأداء التي تم إجراؤها على جهاز M3 Ultra مع 512 جيجابايت من الذاكرة كفاءة ملحوظة في الإنتاجية والذاكرة عبر سياقات وأحجام دفعات مختلفة.
oMLX مصمم للمطورين وعشاق الذكاء الاصطناعي الذين يحتاجون إلى حل موثوق وسريع للذكاء الاصطناعي المحلي على أجهزة Mac الخاصة بهم. يلغي الحاجة إلى الاستدلال القائم على السحابة، مما يقلل من زمن الانتظار والاعتماد على الخوادم الخارجية. الأداة مفتوحة المصدر بموجب ترخيص Apache 2.0، مع وجود قوي في المجتمع، كما يتضح من حصولها على أكثر من 23,000 نجمة على GitHub. يمكن للمستخدمين البدء بسهولة عن طريق تنزيل ملف DMG أو التثبيت من المصدر، مع توافق مع التخزين المؤقت القياسي من Hugging Face ومجلدات LM Studio.
بشكل عام، يقدم oMLX حلاً قويًا وفعالًا لتشغيل نماذج الذكاء الاصطناعي محليًا على نظام macOS، مما يوفر تحسينات كبيرة في السرعة وتكامل سلس مع سير العمل الحالي للذكاء الاصطناعي.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشرمحلي
- المنصاتmacOS 15+
الميزات الأساسية لـ oMLX
خادم استدلال محلي لنظام macOS
تخزين مؤقت SSD KV المُقسم
التوافق مع واجهات برمجة التطبيقات OpenAI وAnthropic
دعم التجميع المستمر
واجهة برمجة تطبيقات سهلة الاستخدام لنماذج Claude Code وOpenClaw وCursor
استعادة سريعة للتخزين المؤقت من SSD
مفتوح المصدر بموجب ترخيص Apache 2.0
أكثر من 23,000 نجمة على GitHub
كيفية استخدام oMLX؟
تنزيل: احصل على ملف DMG أو المصدر
تثبيت: اتبع تعليمات التثبيت
تكوين: إعداد مع التخزين المؤقت من Hugging Face
استخدام: تشغيل النماذج مع تقليل TTFT
تحسين: الاستفادة من التجميع المستمر
حالات استخدام oMLX
- تطوير الذكاء الاصطناعي المحلي
- تكامل واجهة برمجة التطبيقات
- وكلاء البرمجة
- معالجة الدفعات
- المساهمة في المصادر المفتوحة
