الوصف
LLMEval هو سلسلة بحثية من مختبر Fudan NLP مكرسة لإنشاء أطر تقييم شاملة وعادلة وقوية لنماذج اللغة الكبيرة (LLMs). تمتد عبر أكثر من 13 تخصصًا أكاديميًا، والذكاء الاصطناعي الطبي، وتشتمل على أكثر من 220,000 سؤال توليدي. تهدف المبادرة إلى توفير أطر تقييم صارمة وعادلة لنماذج LLMs، مما يضمن تقييم أدائها بدقة عبر مجالات مختلفة.
قراءة المزيد
أحد المكونات الرئيسية لـ LLMEval هو LLMEval-Logic، وهو معيار مفتوح المصدر لتقييم التفكير المنطقي في نماذج LLMs. يتضمن هذا المعيار 196 عنصرًا أساسيًا عامًا و154 عنصرًا تم تعزيزها بشكل عدائي، مع إجابات تم التحقق منها بواسطة Z3 ومعايير خبراء. أنبوب التقييم قابل للتكرار، مما يسمح للباحثين باختبار وتحسين قدرات التفكير المنطقي لنماذج LLMs.
LLMEval-Fair هو جزء آخر مهم من المبادرة، يركز على القوة والعدالة في تقييم نماذج LLM. يتضمن دراسة طولية لمدة 30 شهرًا باستخدام بنك خاص من 220,000 سؤال على مستوى الدراسات العليا. يضمن الأنبوب الآلي سلامة البيانات من خلال تنسيق مقاوم للتلوث وهندسة جديدة لمكافحة الغش. كشفت هذه الدراسة عن حدود الأداء ونقاط ضعف تلوث البيانات في ما يقرب من 60 نموذجًا رائدًا.
بالإضافة إلى ذلك، يوفر LLMEval-Med معيارًا سريريًا واقعيًا لتقييم نماذج LLM الطبية. يغطي خمسة مجالات طبية أساسية ويشمل 2,996 سؤالًا من السجلات الصحية الإلكترونية وسيناريوهات مصممة من قبل خبراء. يتم التحقق من أنبوب التقييم من خلال تحليل اتفاق الإنسان والآلة، مما يضمن دقة عالية في تقييم الذكاء الاصطناعي الطبي.
LLMEval مفتوح للجمهور، مع توفر الشيفرة والبيانات على GitHub. يتم تشجيع الباحثين والمطورين على استكشاف والتعاون في تحسين أطر تقييم نماذج LLM.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ LLMEval
أطر تقييم شاملة
معيار مفتوح المصدر للتفكير المنطقي
تقييم العدالة والقوة
معيار الذكاء الاصطناعي الطبي
أكثر من 220,000 سؤال توليدي
إجابات تم التحقق منها بواسطة Z3
تنسيق بيانات مقاوم للتلوث
تحليل اتفاق الإنسان والآلة
كيفية استخدام LLMEval؟
استكشاف: زيارة موقع LLMEval
الوصول: تحميل مجموعات البيانات من GitHub
تقييم: استخدام المعايير لاختبار LLM
التعاون: الاتصال بشراكات بحثية
حالات استخدام LLMEval
- البحث الأكاديمي
- تقييم الذكاء الاصطناعي الطبي
- اختبار التفكير المنطقي
- تقييم العدالة
- البحث التعاوني
