الوصف
Attest هو إطار اختبار شامل مصمم خصيصًا لوكلاء الذكاء الاصطناعي، متاح لكل من بيئات بايثون وTypeScript. يسمح للمطورين باختبار سلوك وكلاء الذكاء الاصطناعي بدقة، والتحقق من مخرجاتهم، وتفاعلات الأدوات، وأي تعديلات يجريها على الحالات الخارجية. يركز الإطار على الفحوصات الحتمية، مما يمكّن المطورين من التقاط آثار الوكيل وتبادلات النموذج، ثم إعادة تشغيلها ضد الشيفرة الحقيقية للوكيل في بيئة محكومة.
قراءة المزيد
تتضمن سير العمل الأساسية لـ Attest ثلاث خطوات رئيسية: الالتقاط، وإعادة التشغيل، والبوابة. أولاً، يقوم `attest capture` بتسجيل أثر الوكيل وتفاعلات النموذج، ويخفي البيانات الحساسة، ويضع مسودات عقود السلوك الأولية. تحدد هذه العقود السلوكيات المتوقعة، مثل استدعاءات الأدوات المحددة أو التغييرات على 'حالة العالم'. بعد ذلك، يقوم آلية `replay` بتشغيل الشيفرة الحقيقية للوكيل ضد هذه الاستجابات المسجلة للنموذج من خلال وكيل محلي. هذا يلغي تباين استدعاءات النموذج الحية، مما يجعل الاختبارات متسقة وقابلة للتكرار في خطوط أنابيب CI/CD. أخيرًا، تفرض خطوة `gate` السياسات بناءً على نتائج الاختبار، مما يمنع الدمج إذا تم انتهاك العقود الحرجة أو حدثت سلوكيات غير متوقعة.
يدعم Attest نهجًا متعدد الطبقات للاختبار، بدءًا من الفحوصات الحتمية المجانية والفورية (التحقق من المخططات، وفحوصات القيود، وفحوصات الأثر والسلوك، ومطابقة أنماط المحتوى) قبل الانتقال إلى تقييمات أكثر استهلاكًا للموارد، مثل تشابه التضمين وادعاءات LLM-as-judge. يسمح هذا النظام المتدرج باختبار فعال، حيث يتم استدعاء الفحوصات المعتمدة على النموذج فقط عند الحاجة. كما يقدم الإطار ميزات متقدمة مثل اختبار الوكلاء المتعددين، ووضع المحاكاة مع أدوات وهمية وأخطاء مزروعة، والتقييم المستمر التجريبي لمراقبة انحراف الدرجات.
مع نظام محولات قوي، يدمج Attest مع مزودي الذكاء الاصطناعي الشهيرين مثل OpenAI وAnthropic وGemini وOllama، بالإضافة إلى أطر مثل LangChain وCrewAI وLlamaIndex. يعمل ضمن عدادات اختبار الوحدة القياسية مثل pytest لبايثون وVitest لTypeScript، مما يسهل دمجه في سير العمل التطويري الحالي. إن قدرة الإطار على تحويل الحوادث الاصطناعية إلى اختبارات تراجع، جنبًا إلى جنب مع ميزات مثل اختبار الطفرات وعارض HTML لتحليل الفشل بالتفصيل، تجعل Attest أداة حيوية لبناء وكلاء ذكاء اصطناعي موثوقين وقويين.
- الفئةمراجعة الشيفرة واختبارها بالذكاء الاصطناعي
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ Attest Framework
إطار اختبار لوكلاء الذكاء الاصطناعي لبايثون وTypeScript
التقاط آثار وكيل الذكاء الاصطناعي وتبادلات النموذج
إعادة تشغيل صارمة لاستجابات النموذج المسجلة في CI
فحوصات حتمية لسلوك الوكيل
عقود سلوكية لاستدعاءات الأدوات وتأثيرات العالم
فرض سياسات CI وبوابة الدمج
اختبار الوكلاء المتعددين لسلاسل التفويض
وضع المحاكاة مع أدوات وهمية وأخطاء مزروعة
التقييم المستمر واكتشاف الانحراف (تجريبي)
تقييم التأكيدات المتعددة الطبقات (من الحتمي إلى LLM-as-Judge)
محولات الإطار لـ LangChain وCrewAI وLlamaIndex
محولات المزودين لـ OpenAI وAnthropic وGemini وOllama
اختبار الطفرات لفعالية مجموعة الاختبار
عارض HTML لتقارير الفشل بالتفصيل
تضمينات ONNX المحلية لفحوصات دلالية بدون تكلفة
كيفية استخدام Attest Framework؟
تثبيت SDK: أضف `attest-ai` و`pytest` لبايثون، أو `@attest-ai/core` و`vitest` لTypeScript.
إنشاء وكيل: حدد وكيل الذكاء الاصطناعي الخاص بك، مع التأكد من أنه يسجل استدعاءات LLM والأدوات لالتقاط الأثر.
كتابة اختبار: استخدم `expect()` لسلسلة التأكيدات و`attest.evaluate()` لإرسالها إلى المحرك.
تشغيل الاختبارات: نفذ الاختبارات باستخدام `uv run pytest -v` لبايثون أو `npx vitest run` لTypeScript.
التقاط الحادث: استخدم `attest capture` لتسجيل آثار الوكيل وتبادلات النموذج من حوادث حقيقية أو اصطناعية.
إعادة التشغيل في CI: قم بتشغيل الاختبارات ضد استجابات النموذج المسجلة في خط أنابيب CI الخاص بك لضمان نتائج حتمية.
بوابة الدمج: قم بتكوين سياسات CI لمنع طلبات السحب التي تنتهك عقود السلوك أو المعايير المحددة.
مراجعة التقارير: استخدم `attest view` لإنشاء تقرير HTML لتحليل تفصيلي لفشل الاختبارات والآثار.
حالات استخدام Attest Framework
- اختبار التراجع لوكلاء الذكاء الاصطناعي
- التحقق من تفاعلات الأدوات
- التكامل المستمر للذكاء الاصطناعي
- تقييم مخرجات الوكيل
- تصحيح أنظمة الوكلاء المتعددين
- محاكاة بيئات الوكلاء
- مراقبة أداء الوكيل
- اختبار فعال من حيث التكلفة
- ضمان الثوابت التجارية




