الوصف
تم تصميم معيار Real-SWE من قبل مختبرات Specific لتقييم نماذج الذكاء الاصطناعي المتقدمة على قواعد بيانات الشيفرة الخاصة بالمؤسسات في العالم الحقيقي. يتضمن المعيار ثمانية تكوينات للنموذج والحامل، وعشرة مهام، و640 عملية تقييم. كل مهمة مستمدة من قاعدة بيانات شيفرة خاصة مرخصة من شركات حقيقية، مما يقدم مشاكل يواجهها المهندسون في سيناريوهات العالم الحقيقي. تتضمن هذه المهام التنقل عبر أنظمة ملكية، وفهم التعقيدات الخاصة بالشركة، وإجراء تغييرات تؤثر على عمليات الأعمال.
قراءة المزيد
يتحدى المعيار نماذج الذكاء الاصطناعي لأداء مهام مثل الفوترة، وحسابات الضرائب، وترحيل العملاء، والتي تتطلب فهم المنطق التجاري الحالي وأنماط البرمجة.
يستخدم المعيار حوامل أصلية لتعكس كيفية عمل مهندسي المؤسسات، مما يقيم تركيبات النموذج والحامل. تستلهم المهام أو تُرفع حرفياً من قواعد بيانات الشيفرة في العالم الحقيقي، مما يضمن أنها قابلة للتطبيق اقتصادياً وذات صلة بالاحتياجات التجارية الفعلية. المهام معقدة، وغالباً ما تتطلب تغييرات عبر ملفات وأنظمة متعددة، وهي غير محددة بشكل كاف لتقليد الظروف الواقعية.
يسلط معيار Real-SWE الضوء على التحديات التي تواجه نماذج الذكاء الاصطناعي في فهم أنماط الهندسة الخاصة بالشركات والامتثال لمعايير البرمجة في العالم الحقيقي. تظهر نتائج المعيار أن النماذج الحالية غالباً ما تفوت المتطلبات أو تفشل في التحقق من الافتراضات، مما يشير إلى أن الذكاء الاصطناعي ليس بعد في مستوى البرمجة الحقيقية للمؤسسات. يوفر المعيار رؤى قيمة حول قدرات وحدود نماذج الذكاء الاصطناعي المتقدمة في التعامل مع مهام البرمجة المعقدة في العالم الحقيقي.
- الفئةمراجعة الشيفرة واختبارها بالذكاء الاصطناعي
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ معيار Real-SWE
يقيم نماذج الذكاء الاصطناعي على قواعد بيانات الشيفرة الخاصة بالمؤسسات
ثمانية تكوينات للنموذج والحامل
عشرة مهام مع 640 عملية تقييم
المهام مستمدة من قواعد بيانات الشيفرة في العالم الحقيقي
يتحدى النماذج بالتعقيدات الخاصة بالشركات
يستخدم حوامل أصلية للتقييم
يركز على المهام القابلة للتطبيق اقتصادياً
يسلط الضوء على حدود نماذج الذكاء الاصطناعي في البرمجة في العالم الحقيقي
كيفية استخدام معيار Real-SWE؟
تكوين: إعداد بيئة المعيار
استخدام: تشغيل نماذج الذكاء الاصطناعي على مهام المعيار
تقييم: تحليل أداء النموذج على المهام
تحسين: تحسين تكوينات النموذج بناءً على النتائج
حالات استخدام معيار Real-SWE
- تقييم الشيفرة الخاصة بالمؤسسات
- التعامل مع المهام المعقدة
- فهم المنطق التجاري
- التعرف على أنماط البرمجة
- محاكاة المهام الواقعية
