الوصف
tinycmdr هو وكيل عمليات مستقل مصمم لإدارة نماذج اللغة الكبيرة المحلية والمستضافة ذاتيًا (LLMs). تم تصميمه للعمل بملف بايثون واحد وثلاثة تبعيات، مما يجعله خفيف الوزن وفعالًا. يدعم الأداة أي نقطة نهاية متوافقة مع OpenAI، بما في ذلك llama.cpp وvLLM وSGLang وOllama، أو واجهة برمجة التطبيقات السحابية، مما يوفر مرونة في النشر.
قراءة المزيد
تم بناء الوكيل ليعمل على الجهاز الذي يديره، مما يسمح للمستخدمين بإرسال المهام التي ينفذها باستخدام أدوات حقيقية مثل أوامر الشل، وتنفيذ الشيفرة، وتحرير الملفات، وجلب الروابط. يروي أفعاله ويحافظ على حالته في ملفات عادية، مما يضمن الشفافية وسهولة الاستخدام. النص التمهيدي هو بادئة مستقرة وصديقة للتخزين المؤقت، وتم تصميم وقت التشغيل لمنع نموذج مرتبك من شغل فتحة الاستدلال.
يمكن للمستخدمين التفاعل مع tinycmdr عبر محطة أو منصات دردشة مثل Mattermost وTelegram، باستخدام نفس المفردات والعملية. التثبيت سهل، مع خيارات لأنظمة Windows وLinux وmacOS، ويتطلب إصدارات بايثون من 3.10 إلى 3.12. ينشئ الوكيل بيئة بايثون خاصة به ويبدأ مع الجهاز، مما يضمن تكاملًا سلسًا.
tinycmdr يقدم مجموعة من الأوامر لمجموعة متنوعة من العمليات، بما في ذلك التحقق من الحالة، وتشخيص المشكلات، وتحديث البناء، وإعادة تشغيل الوكيل. يمكن للمستخدمين توسيع قدراته عن طريق إضافة أدوات أو كتب تشغيل مخصصة، والتي تصبح متاحة للاستخدام على الفور. وهذا يجعل tinycmdr أداة متعددة الاستخدامات للمطورين والمشغلين الذين يعملون مع نماذج اللغة الكبيرة المحلية والمستضافة ذاتيًا.
- الفئةأدوات بناء وكلاء الذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشربايثون
- المنصاتWindows، Linux، macOS
الميزات الأساسية لـ tinycmdr
نشر بملف بايثون واحد
ثلاثة تبعيات مطلوبة
يدعم نقاط النهاية المتوافقة مع OpenAI
يعمل على Windows وLinux وmacOS
تفاعل عبر المحطة ومنصات الدردشة
دمج أدوات وكتب تشغيل مخصصة
بادئة نص تمهيدي مستقرة وصديقة للتخزين المؤقت
يحافظ على الحالة في ملفات عادية
كيفية استخدام tinycmdr؟
التثبيت: اتبع التعليمات الخاصة بالمنصة
التكوين: إعداد بيئة بايثون والتبعيات
الاستخدام: تنفيذ المهام عبر المحطة أو الدردشة
التوسيع: إضافة أدوات أو كتب تشغيل مخصصة
حالات استخدام tinycmdr
- إدارة النموذج المحلي
- عمليات LLM المستضافة ذاتيًا
- دمج الأدوات المخصصة
- التفاعل عبر منصات الدردشة
- تنفيذ أوامر المحطة
