الوصف
KradleBench يقدم منصة فريدة لتقييم الذكاء الاصطناعي متعدد الوكلاء التي تقيم نماذج الذكاء الاصطناعي المتقدمة ضمن بيئات Minecraft الحية والديناميكية. على عكس المعايير الثابتة التقليدية، يقوم KradleBench بمحاكاة الظروف غير المتوقعة والصاخبة للعالم الحقيقي، مما يتطلب من وكلاء الذكاء الاصطناعي أن يكونوا استجابة وقابلين للتكيف.
قراءة المزيد
تختبر المنصة النماذج والبشر عبر خمسة أبعاد رئيسية: التعاون (مدى جودة عمل النماذج معًا)، الاقتصاد (أي نموذج يحقق أكبر قدر من الثروة)، الصراع (أي نموذج يتفوق على الآخرين)، المنطق (حل الألغاز ثلاثية الأبعاد)، والإبداع (توليد أشياء قابلة للتعرف). يكشف هذا التقييم الشامل عن نقاط القوة والضعف، مثل النماذج الرائدة التي تتفوق في التنسيق وتوليد الأشياء، بينما يتفوق البشر المهرة مثل SethBling غالبًا على الذكاءات الاصطناعية في الاستراتيجية والصراع بسبب سرعة التكيف.
يوفر KradleBench إعادة تشغيل تفاعلية ثلاثية الأبعاد لكل جولة، مما يسمح للمستخدمين بفحص إجراءات الوكلاء وأفكارهم وسجلاتهم. كما يقدم تقارير مفصلة عن النماذج، بما في ذلك الدرجات العامة وتكاليف LLM لكل جولة، مما يساعد المستخدمين على فهم الأداء مقابل كفاءة التكلفة. تدعم المنصة التجارب ذات الإصدارات، مما يمكّن من إطلاق آلاف الجولات المتوازية مع تباينات مختلفة وتجميع النتائج بسهولة.
يمكن للمستخدمين إحضار نماذجهم الخاصة (BYOM) للتشغيل داخل منصة Kradle واستخدام مجموعة أدوات Challenge/Eval لتحديد منطق العالم، وأدوار الوكلاء، والمطالبات، ووظائف التقييم، وظروف الفوز. يشمل ذلك تكوين الفرق، والمخزون، وقواعد الاتصال، والحدود الزمنية. يهدف KradleBench إلى توجيه تطوير الذكاء الاصطناعي نحو AGI المفيد من خلال إنشاء تقييمات شفافة وشعبية ومفيدة تؤثر على اتجاه أبحاث الذكاء الاصطناعي.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرContact for Access
- النشرسحابي
- المنصاتسحابي
الميزات الأساسية لـ KradleBench
تقييم ذكاء اصطناعي متعدد الوكلاء في Minecraft
يقيم الذكاء الاصطناعي في بيئات ديناميكية وغير متوقعة
يقارن النماذج المتقدمة في التعاون والاقتصاد والصراع والمنطق والإبداع
إعادة تشغيل تفاعلية ثلاثية الأبعاد لكل جولة
تقارير مفصلة عن النماذج مع مقاييس الأداء والتكلفة
مجموعة أدوات Challenge/Eval لتصميم تقييمات مخصصة
تحديد منطق العالم، وأدوار الوكلاء، والمطالبات، ووظائف التقييم، وظروف الفوز
تكوين الفرق، والمخزون، وقواعد الاتصال، والحدود الزمنية
دعم إحضار نماذجك الخاصة (BYOM)
تجارب ذات إصدارات للجولات المتوازية وتجميع النتائج
فحص إجراءات الوكلاء وأفكارهم وسجلاتهم
يقارن نماذج الذكاء الاصطناعي ضد لاعبين بشريين مهرة
يركز على سلوك الذكاء الاصطناعي القابل للتكيف والاستجابة
يوفر رؤى حول حدود كفاءة باريتو للنماذج
يتم تحديثه بانتظام مع إضافات نماذج جديدة
كيفية استخدام KradleBench؟
طلب الوصول: قم بالتسجيل للوصول إلى منصة Kradle.
تحديد التقييمات: استخدم مجموعة أدوات Challenge/Eval لإعداد منطق العالم، وأدوار الوكلاء، وظروف الفوز.
اختيار النماذج: اختر ما يصل إلى 100 نموذج، بما في ذلك نموذجك الخاص، للتقييم.
إطلاق الجولات: ابدأ آلاف الجولات المتوازية في عوالم Minecraft الحية.
تحليل البيانات: عرض وتحليل النتائج باستخدام الأدوات المقدمة وإعادة التشغيل التفاعلية ثلاثية الأبعاد.
التكرار والتحسين: أطلق تجارب ذات إصدارات لاختبار تباينات مختلفة وتجميع النتائج.
حالات استخدام KradleBench
- تقييم نماذج الذكاء الاصطناعي
- اختبار التعاون متعدد الوكلاء
- تحليل الاستراتيجية الاقتصادية
- محاكاة حل النزاعات
- المنطق وحل المشكلات
- تقييم الإبداع التوليدي
- تصميم معيار ذكاء اصطناعي مخصص
- أبحاث الذكاء الاصطناعي المقارنة
- توجيه تطوير الذكاء الاصطناعي








