الوصف
EvalCore مصمم لمساعدة المطورين على معرفة متى يصبح الذكاء الاصطناعي أسوأ قبل أن يلاحظ المستخدمون. يقدم اختبار اللقطات لسلوك الذكاء الاصطناعي، مما يتيح للمستخدمين تسجيل كيفية تصرف تطبيق LLM أو الوكيل الخاص بهم ثم إعادة تشغيل هذا التسجيل في التكامل المستمر (CI) مع كل تغيير. هذه العملية تعمل في وضع عدم الاتصال، حتمية، ومجانية تمامًا.
قراءة المزيد
مع EvalCore، يمكن للمطورين بسهولة التحقق مما إذا كانت التغييرات مثل تعديل موجه، أو تبديل نموذج، أو تحديث اعتماد قد تسببت في أي مشاكل. الأداة تسجل سلوك الذكاء الاصطناعي وتتحقق من كل تغيير مقابل البيانات المسجلة، مما يضمن اكتشاف أي تراجع مبكرًا. الإعداد بسيط، يتطلب فقط ثنائي صغير يعمل مع أي لغة برمجة، مما يلغي الحاجة إلى حزمة اختبار أو SDK.
تشغيل EvalCore الأول يستدعي النموذج الحقيقي ويسجل كل طلب واستجابة في شريط تسجيل SQLite محلي. يتم تعيين هذا الشريط على تجزئة الطلب القياسي، مما يسمح بتتبع سهل للتوكنات والتكاليف. كل تشغيل لاحق في CI يعيد تشغيل الشريط، مما يضمن أن المدخلات المتطابقة تنتج مخرجات متطابقة، وبالتالي يمنع التراجعات بشكل فعال. هذا يعني أن المطورين يمكنهم تشغيل الاختبارات دون الحاجة إلى الوصول إلى الشبكة أو مفاتيح API، مما يجعل العملية أكثر موثوقية وكفاءة.
EvalCore متوافق مع نماذج وواجهات برمجة التطبيقات المختلفة، بما في ذلك OpenAI وvLLM وOllama، بالإضافة إلى واجهات برمجة التطبيقات REST المخصصة وأوامر الشل. هذه المرونة تسمح للمطورين بإصدار أول تقييم لهم في دقائق دون أي اعتمادات. الأداة مفتوحة المصدر بموجب ترخيص Apache-2.0، مما يجعلها متاحة لأي شخص يتطلع إلى تحسين تطبيقات الذكاء الاصطناعي الخاصة بهم.
- الفئةمراجعة الشيفرة واختبارها بالذكاء الاصطناعي
- نموذج التسعيرمجاني
- النشردون اتصال
- المنصاتماك أو إس، لينوكس، عداء CI
الميزات الأساسية لـ EvalCore
اختبار اللقطات لسلوك الذكاء الاصطناعي
إعادة التشغيل في وضع عدم الاتصال
نتائج حتمية
لا حاجة إلى SDK أو حزمة اختبار
تسجيل الطلبات والاستجابات
متوافق مع OpenAI وواجهات برمجة التطبيقات الأخرى
تخزين شريط SQLite محلي
مجاني للاستخدام في CI
كيفية استخدام EvalCore؟
تكوين: وجه هدفًا إلى تطبيقك وقم بإدراج مجموعة البيانات.
تشغيل: نفذ الأمر لتسجيل سلوك الذكاء الاصطناعي.
إعادة التشغيل: استخدم الشريط المسجل في CI للتحقق من التراجعات.
التزام: احفظ الشريط للاختبارات المستقبلية.
حالات استخدام EvalCore
- اختبار التراجع
- مراقبة السلوك
- مقارنة النماذج
- اختبار التكامل
- تتبع التكاليف
