الوصف
تم تصميم CRAB، وهو اختصار لـ Cross-environment Agent Benchmark (معيار الوكيل عبر البيئات)، ليكون إطار عمل تقييم للأغراض العامة لوكلاء نماذج اللغة متعددة الوسائط (MLM). يوفر نظامًا شاملاً وسهل الاستخدام لبناء الوكلاء، والعمل ضمن بيئات مختلفة، وإنشاء معايير لتقييم أدائهم بدقة. يعتمد الإطار على ثلاثة مكونات أساسية: دعم عبر البيئات، ومقيّم بياني متطور، وتوليد آلي للمهام.
قراءة المزيد
يعرض CRAB Benchmark-v0، الذي تم تطويره باستخدام هذا الإطار، قدراته من خلال 120 مهمة تمتد عبر بيئتين مختلفتين: Ubuntu و Android. تم استخدامه لاختبار ستة نماذج MLM مختلفة في ثلاثة إعدادات اتصال متنوعة، مما يوفر مجموعة بيانات متنوعة لتحليل الأداء. يؤكد تصميم الإطار على سهولة الاستخدام، حيث يتم تعريف جميع عمليات الوكيل والملاحظات والمقيّمين كوظائف Python. هذا يسمح بالتكامل السهل للبيئات الجديدة بأقل قدر من التعليمات البرمجية. يلتزم تكوين المعيار بنموذج برمجة تصريحي، مما يضمن قابلية تكرار إعدادات التجربة.
تشمل الميزات الرئيسية الدعم عبر البيئات، مما يسمح للوكلاء بالتكيف والأداء عبر واجهات مختلفة. يوفر المقيّم البياني تحليلًا دقيقًا للأداء يتجاوز مجرد معدلات النجاح، ويحدد نقاط القوة والضعف. يتم توليد المهام تلقائيًا باستخدام طريقة قائمة على الرسوم البيانية، حيث يتم دمج المهام الفرعية لإنشاء سيناريوهات معقدة وواقعية تقلل من الجهد اليدوي. يدعم الإطار نماذج MLM المختلفة، بما في ذلك النماذج من OpenAI و Anthropic و Google و Mistral AI و ByteDance، مع نشر النتائج لإعدادات الاتصال وأنواع المخرجات المختلفة.
يعد CRAB ذا قيمة خاصة للباحثين والمطورين الذين يعملون على وكلاء الذكاء الاصطناعي المتقدمين الذين يحتاجون إلى التفاعل مع بيئات معقدة ومتعددة الوسائط. يساعد في فهم الأداء المتنوع لنماذج LLM المختلفة، وتحديد مجالات التحسين مثل التعامل مع حدود الخطوات العالية، وتقليل الإجراءات غير الصالحة، وتقليل الإكمالات الخاطئة في الاتصال متعدد الوكلاء. يسهل المعيار فهمًا أعمق لقدرات الوكلاء وقيودهم في سيناريوهات تشبه العالم الحقيقي.
- الفئةمنصّات تعلّم الآلة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ CRAB Benchmark
دعم عبر البيئات لتقييم الوكلاء
مقيّم بياني لتحليل الأداء الدقيق
توليد آلي للمهام يحاكي سيناريوهات العالم الحقيقي
إطار عمل شامل لبناء واختبار الوكلاء
دعم نماذج اللغة متعددة الوسائط (MLMs) المتعددة
التقييم عبر بيئات Ubuntu و Android
ثلاثة إعدادات اتصال مميزة للاختبار
سهولة دمج البيئات الجديدة عبر وظائف Python
نموذج برمجة تصريحي لتكوين المعيار
تحليل أسباب الإنهاء مثل حد الخطوة والإجراء غير الصالح
البدء مع CRAB Benchmark
تكوين البيئة: حدد عمليات الوكيل والملاحظات والمقيّمين باستخدام وظائف Python.
توليد المهام: استخدم الطريقة القائمة على الرسوم البيانية لإنشاء مهام معقدة وديناميكية.
اختيار النماذج: اختر من بين نماذج MLM المدعومة للاختبار.
تشغيل المعيار: قم بتشغيل الوكلاء ضمن البيئات وإعدادات الاتصال المحددة.
تحليل النتائج: قم بتقييم أداء الوكيل باستخدام المقيّم البياني ونسب الإكمال.
تحديد التحسينات: راجع أسباب الإنهاء لتحديد مجالات تحسين الوكيل.
حالات استخدام CRAB Benchmark
- تقييم أداء الوكيل
- الاختبار عبر البيئات
- أتمتة توليد المهام
- أبحاث وكلاء LLM
- تحليل تحسين الوكيل
- معيار النماذج مفتوحة المصدر
