الوصف
Harness Resource Bench هي منصة متخصصة مصممة لقياس ومقارنة استهلاك الموارد لوكلاء البرمجة المختلفين بدقة. توفر نظرة شاملة حول مدى تأثير كل وكيل على أداء الآلة ومواردها، مع التركيز على مقاييس حاسمة مثل وقت بدء التشغيل، استخدام الذاكرة، وقت وحدة المعالجة المركزية، بيانات الجلسة، وحجم التثبيت.
قراءة المزيد
تتضمن المنهجية تشغيل كل وكيل برمجي من خلال نفس عبء العمل النصي ضمن بيئة حاوية متطابقة. يضمن ذلك العدالة والاتساق في القياسات، مما يسمح بإجراء مقارنات مباشرة بين وكلاء مثل fx، smelt، pi، Claude Code، codex، omp، وopencode. تهدف المنصة إلى تحديد الوكلاء الأكثر كفاءة، حيث تشير الأرقام الأقل إلى أداء أفضل.
تشمل المجالات الرئيسية للقياس أداء بدء التشغيل، موضحة مدى سرعة إطلاق وكيل ومتطلباته الأولية من الذاكرة والقرص. كما تفحص الذاكرة عند البدء (بعد الطلب الأول مع ذاكرة ملف باردة) وحجم التثبيت، مع تفصيل مساحة القرص حسب نوع الملف. على سبيل المثال، تشير إلى أن حجم تثبيت pi يتضمن Node.js، وهو ضروري لعمله.
بالنسبة لمهام البرمجة، يقيس البنش وقت وحدة المعالجة المركزية خلال مهمة تتضمن 24 استدعاءً للأدوات، مع تدفق النموذج 120 توكن في الثانية. يميز بين استخدام وحدة المعالجة المركزية بدون واجهة المستخدم (بدون TUI)، ووقت وحدة المعالجة المركزية الإضافي مع واجهة المستخدم، والوقت الأدنى المطلوب من الطرفية (tmux). تغطي تحليلات الجلسات الطويلة الذاكرة ووقت وحدة المعالجة المركزية لكل دورة على مدى 64 دورة، حيث يقوم الوكلاء بتقليص تاريخهم بالقرب من حدود السياق. كما تتبع بيانات الجلسة على القرص، بما في ذلك النصوص، التاريخ، قواعد البيانات، والسجلات.
علاوة على ذلك، يقيم Harness Resource Bench استخدام الموارد خلال الجلسات الجديدة (16 جلسة في عملية واحدة لقياس الذاكرة المتبقية من الجلسات المنتهية) وحالات الخمول، مسجلاً وقت وحدة المعالجة المركزية والذاكرة بينما تُترك جلسة مفتوحة بمفردها بعد مهمة. كما يقوم بتفصيل الذاكرة الخاملة إلى كود، ملفات مخصصة، كومة، وبيانات لتوفير فهم دقيق لتخصيص الموارد. تُعرض البيانات كوسائط لعدة عمليات، مع خطوط وأشرطة تشير إلى النطاق، مما يوفر مقارنة موثوقة وقوية للمطورين والمستخدمين.
- الفئةأدوات DevOps والسحابة بالذكاء الاصطناعي
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ Harness Resource Bench
قياس شامل للموارد لوكلاء البرمجة
تقييم وقت بدء التشغيل، الذاكرة، وقت وحدة المعالجة المركزية، بيانات الجلسة، وحجم التثبيت
مقارنة الوكلاء مثل fx، smelt، pi، Claude Code، codex، omp، opencode
أحمال عمل نصية موحدة في بيئات حاوية متسقة
تفصيل دقيق لأداء بدء التشغيل (الوقت، الذاكرة، القرص)
تحليل وقت وحدة المعالجة المركزية خلال مهام البرمجة (بدون واجهة، واجهة المستخدم، الطرفية)
قياس الذاكرة ووقت وحدة المعالجة المركزية في الجلسات الطويلة (64 دورة)
تتبع بيانات الجلسة المخزنة على القرص (النصوص، التاريخ، السجلات)
تقييم بصمة الذاكرة للجلسات الجديدة
مراقبة وقت وحدة المعالجة المركزية واستخدام الذاكرة خلال حالات الخمول
تفصيل دقيق للذاكرة الخاملة إلى كود، كومة، وبيانات
قيم متوسطة ونطاقات لجميع القياسات
مقارنة ميزات الوكلاء وتأثيرات تكلفة مواردهم
جمع البيانات على جهاز AMD Ryzen 9 7900X مع موارد ثابتة
كيفية استخدام Harness Resource Bench؟
الوصول إلى المعايير: انتقل إلى موقع Harness Resource Bench لعرض أحدث بيانات استخدام الموارد.
مراجعة نظرة عامة على الوكلاء: افحص استخدام الموارد الوسيطة لوكلاء البرمجة المختلفين عبر مقاييس مختلفة.
فرز البيانات: انقر على أي رأس عمود لفرز البيانات حسب مقاييس محددة مثل وقت بدء التشغيل أو استخدام وحدة المعالجة المركزية.
مقارنة الوكلاء: تحليل أداء كل وكيل، مع ملاحظة الوكلاء الذين يتصدرون في فئات معينة (مثل fx لوقت بدء التشغيل).
فهم المقاييس: استكشاف تفسيرات مفصلة لكل فئة قياس، مثل 'البدء'، 'مهمة برمجية'، 'جلسة طويلة'، و'خمول'.
استشارة أقسام لماذا: قراءة أقسام 'لماذا' للحصول على رؤى حول الأسباب الكامنة وراء سلوكيات الموارد الملحوظة لكل وكيل.
حالات استخدام Harness Resource Bench
- اختيار وكيل البرمجة
- تحسين الأداء
- تخطيط الموارد
- تحليل مقارن
- تقييم أدوات المطورين






