الوصف
DoGBench هو أداة معيارية مصممة لتقييم وكلاء الذكاء الاصطناعي في قدرتهم على كتابة وصيانة وثائق البرمجيات الموجهة للمستخدم. تقوم الأداة بتقييم ما إذا كان الوكلاء يمكنهم التعرف على متى تحتاج الوثائق إلى تحديثات وإنتاج تصحيحات تلبي معايير مراجعة الخبراء.
قراءة المزيد
تتضمن المعيار 292 مهمة مأخوذة من مشاريع مفتوحة المصدر حقيقية مثل Helm وPostHog وMautic وDoc Detective. من بين هذه المهام، تتطلب 205 تغييرات في الوثائق، بينما لا تتطلب 87 أي تغييرات. يستخدم التقييم تقسيمًا محجوزًا مكونًا من 117 عنصرًا، يتكون من 82 مهمة تحتاج إلى تحديثات و35 تتطلب الامتناع.
يقدم DoGBench درجات منفصلة لقرارات التحديث وجودة التصحيح. تلتقط قواعد التقييم كل من جودة التصحيح المقدم والامتناع الصحيح، باستخدام المتوسط التوافقي لدمجها. يحدد الفشل الحرج درجة التصحيح عند 60 من 100، مع وجود وزن متساوٍ لكل معيار من معايير التقييم.
غالبًا ما يواجه الوكلاء صعوبة في تحديد متى تحتاج الوثائق إلى تحديث، أحيانًا يوثقون تغييرات داخلية لا تؤثر على المستخدمين أو يفوتون التحديثات الضرورية بسبب نقص التغطية الحالية. على الرغم من الكتابة المصقولة، يمكن أن يغفل الوكلاء خطوات أساسية أو يضعون التصحيحات في صفحات من غير المحتمل أن يجدها القراء.
تعتبر الأداة قيمة لمالكي الوثائق الذين يرغبون في مناقشة تحديات الكتابة التقنية مع فرقهم أو قيادتهم. توفر رؤى حول أين يقصر وكلاء الذكاء الاصطناعي وتؤكد على أهمية مراجعة الخبراء لضمان دقة الوثائق وكمالها.
- الفئةمراجعة الشيفرة واختبارها بالذكاء الاصطناعي
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ DoGBench
يقيم وكلاء الذكاء الاصطناعي لتحديث الوثائق
يستخدم معايير تم التحقق منها مع القائمين على المشاريع
يقيّم التصحيحات بناءً على المعايير الخبيرة
يتضمن 292 مهمة من مشاريع مفتوحة المصدر
يفصل الدرجات لقرارات التحديث وجودة التصحيح
يعالج فجوات إكمال المهام وعدم الدقة التقنية
يوفر رؤى لمالكي الوثائق
يؤكد على أهمية مراجعة الخبراء
كيفية استخدام DoGBench؟
تقييم: تقييم قدرات الوكيل في الوثائق
تقييم: استخدام المعايير لتقييم التصحيحات
تحليل: مراجعة فجوات إكمال المهام
مناقشة: مشاركة الرؤى مع فرق الوثائق
حالات استخدام DoGBench
- تحديث الوثائق
- مراجعة الخبراء
- الكتابة التقنية
- تقييم الذكاء الاصطناعي
- مشاريع مفتوحة المصدر
