تخطَّ إلى المحتوى الرئيسي
ToolPotion
مستشار الذكاء الاصطناعي
إرسال (مجاني)

SkillEvaluator

SkillEvaluator هو إطار عمل متعدد المستويات تم تطويره بواسطة NVIDIA لتقييم قدرات وكلاء الذكاء الاصطناعي. يتضمن بوابات جودة، واكتشاف تداخل دلالي، وأدوات لإنشاء مجموعات بيانات تقييم اصطناعية. يدعم الإطار أيضًا تقييم الوكلاء المباشرين، مما يوفر رؤى حول كيفية تأثير مهارات معينة على سلوك الوكيل والأداء العام. تم تصميمه لضمان تقييم قوي وعادل لوكلاء الذكاء الاصطناعي.

عرض المستودع
مشاركة
عرض المستودع
مشاركة

SkillEvaluator، الذي تم تطويره بواسطة NVIDIA، هو إطار عمل شامل ومتعدد المستويات مصمم للتقييم الدقيق لمهارات وكلاء الذكاء الاصطناعي. يدمج هذا النظام القوي عدة مكونات رئيسية لتوفير تقييم شامل، مما يضمن أن وكلاء الذكاء الاصطناعي يؤدون كما هو متوقع وأن مهاراتهم تقاس بدقة.

قراءة المزيد

تشمل الوظائف الأساسية للإطار تنفيذ بوابات الجودة، التي تعمل كنقاط تفتيش للحفاظ على معايير عالية طوال عملية التقييم. تساعد هذه البوابات في تصفية النتائج غير المثلى وضمان أن تساهم البيانات ذات الصلة والجودة العالية فقط في التقييم. يعد اكتشاف التداخل الدلالي ميزة حاسمة أخرى، مما يسمح للنظام بتحديد وقياس درجة التشابه أو التكرار في استجابات الوكلاء أو المحتوى الذي تم إنشاؤه. يساعد ذلك في فهم تفرد وكفاءة تطبيق مهارات الوكيل.

يوفر SkillEvaluator أيضًا قدرات لإنشاء مجموعات بيانات تقييم اصطناعية. يتيح ذلك للمطورين والباحثين إنشاء مجموعات بيانات مصممة خصيصًا لاختبار مهارات أو سيناريوهات معينة، مما يوفر بيئة خاضعة للتحكم للتقييم. هذا أمر حاسم لتقييم الوكلاء في الحالات التي قد تكون فيها البيانات الواقعية نادرة أو يصعب الحصول عليها. علاوة على ذلك، يدعم الإطار تقييم الوكلاء المباشرين، الذي يقيس التأثير المباشر لمهارات معينة على سلوك الوكيل في بيئات تشغيل حقيقية أو محاكاة. يوفر هذا التقييم المباشر رؤى لا تقدر بثمن حول كيفية ترجمة المهارات النظرية إلى أداء عملي وتأثيرها على سلوك الوكيل بشكل عام.

يتم استضافة المشروع على GitHub، مما يدل على طبيعته مفتوحة المصدر ونموذج تطويره التعاوني. يتضمن مجموعة متنوعة من الوحدات والوثائق، مثل ملفات التكوين، والأمثلة، والبرامج النصية، والاختبارات، جميعها تساهم في نظام تقييم منظم وقابل للصيانة. يتم تحديث الإطار باستمرار، مع التحديثات الأخيرة التي تعالج إصلاحات التقارير، وتعزيزات الأمان، وتحسينات في عدّ استخدام الرموز، مما يدل على التطوير المستمر والتنقيح. يهدف SkillEvaluator إلى توفير طريقة عادلة وشاملة لتقييم وكلاء الذكاء الاصطناعي، مما يضمن أن مجموعات بيانات التقييم التي تم إنشاؤها والمصادق عليها متوازنة وتمثل.

  • الفئةMLOps ونشر النماذج
  • نموذج التسعيرمفتوح المصدر
  • النشرسحابي
  • المنصاتالويب

  • إطار تقييم متعدد المستويات

  • بوابات جودة لمعايير التقييم

  • اكتشاف التداخل الدلالي

  • إنشاء مجموعات بيانات تقييم اصطناعية

  • تقييم مباشر لوكلاء الذكاء الاصطناعي

  • قياس تأثير المهارات على سلوك الوكيل

  • يدعم مقاييس تقييم متنوعة

  • يتضمن ملفات تكوين وأمثلة

  • وثائق شاملة للمقاييس

  • ميزات التكامل المستمر والتقارير

  • تحديات تأهيل الأمان والكفاءة

  • إعادة بناء معاملات لتقييمات المستوى 2

  • إخفاء بيانات الاعتماد في أدلة القضاة

  • إنشاء تقارير HTML مع ميزات الوصول

  • حزم uv لتسهيل التثبيت

  1. استنساخ المستودع: احصل على ملفات المشروع عن طريق استنساخ مستودع NVIDIA/SkillEvaluator على GitHub إلى جهازك المحلي.

  2. تثبيت التبعيات: استخدم ملفي `pyproject.toml` و `uv.lock` لتثبيت حزم Python والتبعيات اللازمة، مع إمكانية استخدام حزمة `uv` المدمجة.

  3. تكوين التقييم: قم بتعديل ملفات التكوين في دليل `config` لتعريف معلمات التقييم الخاصة بك، وبوابات الجودة، وإعدادات إنشاء مجموعات البيانات.

  4. إنشاء مجموعات بيانات اصطناعية: استخدم أدوات الإطار لإنشاء مجموعات بيانات تقييم اصطناعية مصممة خصيصًا لمهارات وكلاء الذكاء الاصطناعي التي تنوي اختبارها.

  5. تنفيذ التقييمات: قم بتشغيل البرامج النصية للتقييم، سواء لمجموعات البيانات الاصطناعية أو سيناريوهات الوكلاء المباشرين، لقياس أداء المهارات وتأثيرها السلوكي.

  6. تحليل التقارير: راجع التقارير التي تم إنشاؤها، بما في ذلك الرسوم البيانية HTML، لفهم نتائج التقييم، وصيغ المقاييس، وحالات التحقق.

  7. المساهمة والتحسين: اتبع إرشادات المساهمة لاقتراح تحسينات، أو إصلاح مشكلات، أو تحسين عمليات التقييم لتحقيق دقة وكفاءة أفضل.

  • تقييم مهارات وكلاء الذكاء الاصطناعي
  • إنشاء بيانات اصطناعية
  • ضمان الجودة للذكاء الاصطناعي
  • تحليل تأثير السلوك
  • اكتشاف التداخل الدلالي
  • تقييم وكلاء الذكاء الاصطناعي
  • تأهيل الأمان
  • أدوات المطورين

من NVIDIA

تقييمات SkillEvaluator

جاري التحميل...

أدوات ذكاء اصطناعي شائعة مثل SkillEvaluator

Langfuse AI Gateway

مستودعات GitHub للذكاء الاصطناعي

Langfuse AI Gateway هو منصة هندسة ذكاء اصطناعي مفتوحة المصدر مصممة لإدارة ومراقبة مكالمات ووكالات الذكاء الاصطناعي. مبنية على OpenTelemetry، توفر قدرات لمراقبة الوكلاء،…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

منصة هندسة ذكاء اصطناعي مفتوحة المصدر مصممة لإدارة ومراقبة مكالمات ووكالات الذكاء الاصطناعي. مبنية على OpenTelemetry، توفر قدرات لمراقبة الوكلاء،…Langfuse AI Gateway هو منصة هندسة ذكاء اصطناعي مفتوحة المصدر مصممة لإدارة ومراقبة مكالمات ووكالات الذكاء الاصطناعي. مبنية على OpenTelemetry، توفر قدرات لمراقبة الوكلاء،…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

RagaAI Catalyst

مستودعات GitHub للذكاء الاصطناعي

RagaAI Catalyst هو مجموعة أدوات تطوير برمجيات بلغة بايثون مصممة لرصد وتقييم الذكاء الاصطناعي. يقدم ميزات مثل تتبع الوكلاء والأدوات، وتصحيح أنظمة الوكلاء المتعددة، وتحليلات متقدمة…

MLOps ونشر النماذج

المرتبة 146 في MLOps ونشر النماذج

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مجموعة أدوات تطوير برمجيات بلغة بايثون مصممة لرصد وتقييم الذكاء الاصطناعي. يقدم ميزات مثل تتبع الوكلاء والأدوات، وتصحيح أنظمة الوكلاء المتعددة، وتحليلات متقدمة…RagaAI Catalyst هو مجموعة أدوات تطوير برمجيات بلغة بايثون مصممة لرصد وتقييم الذكاء الاصطناعي. يقدم ميزات مثل تتبع الوكلاء والأدوات، وتصحيح أنظمة الوكلاء المتعددة، وتحليلات متقدمة…

MLOps ونشر النماذج
المرتبة 146 في MLOps ونشر النماذج

Phoenix

مستودعات GitHub للذكاء الاصطناعي

أريز فونيكس هو أداة لمراقبة وتقييم الذكاء الاصطناعي مصممة لمساعدة المطورين في مراقبة وتقييم نماذج الذكاء الاصطناعي. توفر رؤى حول أداء النموذج، مما يمكّن من اتخاذ قرارات أفضل…

MLOps ونشر النماذج

المرتبة 102 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

أريز فونيكس هو أداة لمراقبة وتقييم الذكاء الاصطناعي مصممة لمساعدة المطورين في مراقبة وتقييم نماذج الذكاء الاصطناعي. توفر رؤى حول أداء النموذج، مما يمكّن من اتخاذ قرارات أفضل…

MLOps ونشر النماذج
المرتبة 102 في مستودعات GitHub للذكاء الاصطناعي

Maxim AI هي منصة تقييم ومراقبة شاملة مصممة لفرق الذكاء الاصطناعي. تساعد المستخدمين على محاكاة وتقييم ومراقبة وكلاء الذكاء الاصطناعي، مما يتيح عمليات نشر أسرع وأكثر موثوقية. تقدم…

MLOps ونشر النماذج

المرتبة 160 في وكلاء الذكاء الاصطناعي

عرض الأداة

منصة تقييم ومراقبة شاملة مصممة لفرق الذكاء الاصطناعي. تساعد المستخدمين على محاكاة وتقييم ومراقبة وكلاء الذكاء الاصطناعي، مما يتيح عمليات نشر أسرع وأكثر موثوقية. تقدم…Maxim AI هي منصة تقييم ومراقبة شاملة مصممة لفرق الذكاء الاصطناعي. تساعد المستخدمين على محاكاة وتقييم ومراقبة وكلاء الذكاء الاصطناعي، مما يتيح عمليات نشر أسرع وأكثر موثوقية. تقدم…

مميزةMLOps ونشر النماذج
المرتبة 160 في وكلاء الذكاء الاصطناعي

Future AGI

تطبيقات الذكاء الاصطناعي

Future AGI هي منصة مفتوحة المصدر لبناء واختبار ومراقبة وكلاء الذكاء الاصطناعي. تساعد في اكتشاف وتصحيح هلوسات الذكاء الاصطناعي في الوقت الفعلي باستخدام حواجز الحماية، وتقييمات…

MLOps ونشر النماذج

المرتبة 44 في MLOps ونشر النماذج

عرض الأداة

تطبيقات الذكاء الاصطناعي

منصة مفتوحة المصدر لبناء واختبار ومراقبة وكلاء الذكاء الاصطناعي. تساعد في اكتشاف وتصحيح هلوسات الذكاء الاصطناعي في الوقت الفعلي باستخدام حواجز الحماية، وتقييمات…Future AGI هي منصة مفتوحة المصدر لبناء واختبار ومراقبة وكلاء الذكاء الاصطناعي. تساعد في اكتشاف وتصحيح هلوسات الذكاء الاصطناعي في الوقت الفعلي باستخدام حواجز الحماية، وتقييمات…

مميزةMLOps ونشر النماذج
المرتبة 44 في MLOps ونشر النماذج

HoneyHive

تطبيقات الذكاء الاصطناعي

توفر HoneyHive طبقة مراقبة لوكلاء الذكاء الاصطناعي في بيئة الإنتاج، موحدةً المراقبة والتقييم. تُمكّن حلقات التحسين المستمر، مما يسمح للفرق بإطلاق وكلاء عاليي الجودة بثقة. توفر…

MLOps ونشر النماذج

المرتبة 32 لـ مهندسو البرمجة اللغوية

عرض الأداة

تطبيقات الذكاء الاصطناعي

توفر HoneyHive طبقة مراقبة لوكلاء الذكاء الاصطناعي في بيئة الإنتاج، موحدةً المراقبة والتقييم. تُمكّن حلقات التحسين المستمر، مما يسمح للفرق بإطلاق وكلاء عاليي الجودة بثقة. توفر…

مميزةMLOps ونشر النماذج
المرتبة 32 لـ مهندسو البرمجة اللغوية

Overmind

تطبيقات الذكاء الاصطناعي

Overmind هي منصة شاملة لتدريب النماذج مصممة لفرق الذكاء الاصطناعي. تتيح للمستخدمين إعداد البيانات، وتدريب، وتقييم، ونشر النماذج من منصة واحدة، مما يضمن ملكية النماذج المتخصصة…

منصّات تعلّم الآلة

المرتبة 100 لـ تحسين نماذج AI

عرض الأداة

تطبيقات الذكاء الاصطناعي

منصة شاملة لتدريب النماذج مصممة لفرق الذكاء الاصطناعي. تتيح للمستخدمين إعداد البيانات، وتدريب، وتقييم، ونشر النماذج من منصة واحدة، مما يضمن ملكية النماذج المتخصصة…Overmind هي منصة شاملة لتدريب النماذج مصممة لفرق الذكاء الاصطناعي. تتيح للمستخدمين إعداد البيانات، وتدريب، وتقييم، ونشر النماذج من منصة واحدة، مما يضمن ملكية النماذج المتخصصة…

منصّات تعلّم الآلة
المرتبة 100 لـ تحسين نماذج AI

منصة غاليليو للذكاء الاصطناعي

تطبيقات الذكاء الاصطناعي

غاليليو AI هي منصة لرصد وتقييم تطبيقات الذكاء الاصطناعي التوليدي، مما يمكّن الفرق من مراقبة وتقييم وحماية أنظمة الذكاء الاصطناعي على نطاق المؤسسات. تقدم أدوات لبناء مجموعات…

MLOps ونشر النماذج

المرتبة 26 لـ مهندسو البرمجة اللغوية

عرض الأداة

تطبيقات الذكاء الاصطناعي

غاليليو AI هي منصة لرصد وتقييم تطبيقات الذكاء الاصطناعي التوليدي، مما يمكّن الفرق من مراقبة وتقييم وحماية أنظمة الذكاء الاصطناعي على نطاق المؤسسات. تقدم أدوات لبناء مجموعات…

MLOps ونشر النماذج
المرتبة 26 لـ مهندسو البرمجة اللغوية
1 من 8