الوصف
LocalAI هو بيئة تشغيل مفتوحة المصدر، مرخصة بموجب MIT، يصف موقعها هدفها في جعل الذكاء الاصطناعي يعمل على كل آلة. إنها تجمع ثنائية واحدة تعرض واجهة برمجة تطبيقات متوافقة مع OpenAI وAnthropic وOllama وElevenLabs، لذا فإن معظم العملاء الحاليين يحتاجون فقط إلى تغيير عنوان URL للإشارة إلى النماذج التي تعمل على الأجهزة الخاصة بالمستخدم بدلاً من مزود سحابي. لقد حصل المشروع على 48,900 نجمة على GitHub وهو حالياً في الإصدار 4.8.0.
قراءة المزيد
تحت تلك الواجهة، LocalAI هو نواة رقيقة تسحب خلفية استدلال منفصلة لأي محرك تحتاجه النموذج، من بينها llama.cpp وvLLM وSGLang وMLX، يتم تبديلها بسطر واحد في تكوين النموذج. تحتوي معرض النماذج على أكثر من 1,255 نموذج يمكن تثبيتها بنقرة واحدة. تم تصميم كل ميزة لتعمل أولاً على وحدة المعالجة المركزية وتم اختبارها بهذه الطريقة في التكامل المستمر، مع تسريع GPU متاح عبر CUDA وROCm وSYCL وMetal وVulkan على أجهزة x86_64 وARM64.
تنظم LocalAI قدراتها في ستة مجالات: Reason، لنماذج اللغة، واستدعاء الأدوات والإخراج المنظم؛ Listen، للتفريغ الصوتي في الوقت الحقيقي وتحديد المتحدثين؛ Speak، لتوليد الكلام واستنساخ الصوت؛ See، للرؤية والكشف والتعرف وتقدير العمق؛ Create، لتوليد الصور والفيديو والموسيقى والصوت؛ وAct، للوكلاء، واتصالات MCP، والمهارات وتوليد معزز بالاسترجاع.
وضع التشغيل في الوقت الحقيقي يبث الصوت عبر WebRTC، ويقوم باستدعاء الأدوات أثناء المحادثة، ويبث الصوت مرة أخرى، بهدف أن يشعر وكأنه محادثة حية بدلاً من نافذة دردشة. مجموعة منفصلة من الميزات التي تسميها Senses توفر للنظام الجاري تفريغاً حياً مع تسميات المتحدثين، واكتشاف حوالي 527 نوعاً من أحداث الصوت، والتعرف على الصوت أو الوجه، جميعها مصممة للعمل محلياً ومعظمها على وحدة المعالجة المركزية.
للنشر الأكبر، تضيف LocalAI توجيه موزع، وتوزيع النماذج مع مراعاة VRAM، وارتباط ذاكرة التخزين المؤقت، والتبديل عبر الآلات باستخدام اتحاد قائم على NATS، بحيث يمكن أن ينمو العنقود عن طريق إضافة الأجهزة بدلاً من إعادة تكوين البرمجيات. تم بناؤه بواسطة Ettore Di Giacinto وقد تم تسليط الضوء عليه علنًا من قبل شخصيات في مجتمع الذكاء الاصطناعي مفتوح المصدر، بما في ذلك مؤلف llama.cpp جورجي جيرغانوف. يستهدف المطورين والشركات الذين يرغبون في تشغيل أحمال العمل الخاصة بالذكاء الاصطناعي على بنيتهم التحتية الخاصة، من جهاز كمبيوتر محمول واحد إلى غرفة مليئة بوحدات معالجة الرسومات، مع الحفاظ على بياناتهم على الأجهزة التي يتحكمون بها.
- الفئةمنصّات تعلّم الآلة
- نموذج التسعيرمفتوح المصدر
- النشراستضافة ذاتية, سحابي
- المنصاتLinux, Windows, macOS
الميزات الأساسية لـ LocalAI
ثنائية واحدة تعرض واجهات برمجة تطبيقات متوافقة مع OpenAI وAnthropic وOllama وElevenLabs
خلفيات استدلال قابلة للتبديل: llama.cpp وvLLM وSGLang وMLX
تصميم يركز على وحدة المعالجة المركزية تم اختباره في CI، مع تسريع اختياري عبر CUDA وROCm وSYCL وMetal وVulkan
معرض نماذج يحتوي على أكثر من 1,255 نموذج يمكن تثبيتها بنقرة واحدة
وضع صوتي في الوقت الحقيقي عبر WebRTC مع استدعاءات أدوات أثناء المحادثة
ميزات Senses: تفريغ حي، اكتشاف أحداث الصوت والتعرف على الصوت/الوجه
توليد النص والرؤية والصورة والفيديو والموسيقى والصوت في بيئة تشغيل واحدة
دعم الوكلاء عبر MCP والمهارات وتوليد معزز بالاسترجاع
تجميع موزع مع توجيه مراعي لـ VRAM والتبديل عبر الآلات
كيفية استخدام LocalAI؟
تثبيت LocalAI: قم بتنزيل الثنائية الواحدة أو الحاوية لنظام التشغيل والهندسة المعمارية الخاصة بك.
اختيار نموذج: اختر نموذجًا من معرض النماذج المدمج الذي يحتوي على أكثر من 1,255 نموذج لتثبيته بنقرة واحدة.
توجيه عميلك إليه: أعد توجيه عميل OpenAI أو Anthropic أو Ollama أو ElevenLabs الحالي إلى واجهة برمجة تطبيقات LocalAI بدلاً من السحابة.
اختيار محرك: حدد أي خلفية، llama.cpp أو vLLM أو SGLang أو MLX، يجب أن يعمل عليها النموذج في تكوينه.
إضافة قدرات: قم بتفعيل ميزات الصوت أو الرؤية أو الصورة أو الوكيل حسب الحاجة.
توسيع النطاق: أضف المزيد من الآلات ودع توجيه LocalAI والتبديل يتعامل مع التوزيع.
حالات استخدام LocalAI
- واجهة برمجة تطبيقات دردشة مستضافة ذاتيًا
- مساعد صوتي محلي
- بيئة تشغيل محلية متعددة الوسائط
- عنقود ذكاء اصطناعي متعدد الآلات
