الوصف
NeMo Guardrails هي مجموعة أدوات مفتوحة المصدر مصممة لتمكين المطورين من إضافة حواجز قابلة للبرمجة إلى تطبيقات المحادثة الخاصة بهم المستندة إلى نماذج اللغة الكبيرة (LLM). توفر هذه الحواجز، التي يشار إليها غالبًا باسم "السكك الحديدية"، طريقة منظمة للتحكم في مخرجات LLM، مما يضمن توافقها مع القواعد والأهداف المحددة مسبقًا. يشمل ذلك منع المناقشات حول مواضيع حساسة، وفرض أنماط استجابة محددة، وتوجيه المحادثات على طول مسارات محددة مسبقًا، واستخراج البيانات المنظمة.
تعمل مجموعة الأدوات كطبقة وسيطة بين كود التطبيق و LLM، وتقدم فوائد رئيسية مثل بناء تطبيقات LLM جديرة بالثقة وآمنة. يمكن للمطورين تحديد حواجز لتوجيه وحماية المحادثات، وتحديد سلوك LLM في مواضيع معينة ومنع التفاعل مع المواضيع غير المرغوب فيها. هذا أمر بالغ الأهمية للحفاظ على نزاهة العلامة التجارية وسلامة المستخدم.
تسهل NeMo Guardrails أيضًا الاتصالات الآمنة بين LLMs والخدمات أو الأدوات الخارجية. إنها تمكن الحوار القابل للتحكم عن طريق توجيه LLMs لمتابعة تدفقات المحادثة المصممة، والالتزام بأفضل الممارسات في تصميم المحادثة وفرض إجراءات التشغيل القياسية مثل بروتوكولات المصادقة أو الدعم. علاوة على ذلك، توفر المكتبة حماية قوية ضد نقاط الضعف الشائعة في LLM، بما في ذلك الهروب من السجن وحقن المطالبات، من خلال توفير آليات دفاع متنوعة.
تدعم المكتبة العديد من نماذج LLMs، بما في ذلك سلسلة GPT من OpenAI، و LLaMa-2، و Falcon، و Vicuna، و Mosaic. تقدم خمسة أنواع رئيسية من الحواجز: حواجز الإدخال لمعالجة مدخلات المستخدم، وحواجز الحوار للتأثير على توجيه LLM وتدفق المحادثة، وحواجز الاسترجاع لإدارة البيانات المسترجعة في سيناريوهات RAG، وحواجز التنفيذ لإدارة الإجراءات المخصصة، وحواجز الإخراج للإشراف على المحتوى الذي تم إنشاؤه بواسطة LLM. يمكن إدارة التكوينات عبر واجهة برمجة تطبيقات Python أو خادم حواجز مخصص، مع دعم العمليات المتزامنة وغير المتزامنة. تقدم مجموعة الأدوات Colang، وهي لغة نمذجة تشبه Python لتعريف هذه الحواجز، مما يوفر المرونة والتحكم في تدفقات الحوار.
الميزات الأساسية لـ NeMo Guardrails
حواجز قابلة للبرمجة لأنظمة المحادثة المستندة إلى LLM
يعزز سلامة وأمان والتحكم في مخرجات LLM
يمنع LLMs من مناقشة مواضيع غير مرغوب فيها
يوجه LLMs لمتابعة مسارات المحادثة المحددة مسبقًا
يسهل التكامل الآمن مع الأدوات والخدمات الخارجية
يحمي من نقاط ضعف LLM مثل الهروب من السجن وحقن المطالبات
يدعم العديد من نماذج LLMs بما في ذلك OpenAI، و LLaMa-2، و Falcon، و Vicuna
يقدم خمسة أنواع من الحواجز: الإدخال، الحوار، الاسترجاع، التنفيذ، والإخراج
قابل للتكوين عبر واجهة برمجة تطبيقات Python أو خادم حواجز مخصص
يقدم Colang لتعريف تدفقات الحوار والحواجز
يدعم العمليات المتزامنة وغير المتزامنة
واجهة سطر أوامر مدمجة لإدارة الخادم وجلسات الدردشة التفاعلية
التكامل مع LangChain لتطوير تطبيقات LLM محسّنة
البدء مع NeMo Guardrails
استنساخ المستودع: احصل على كود NeMo Guardrails من GitHub.
تثبيت التبعيات: قم بإعداد بيئة Python الخاصة بك وقم بتثبيت الحزم الضرورية.
تكوين الحواجز: حدد الحواجز المطلوبة باستخدام Colang وملفات التكوين.
التكامل مع LLM: قم بتحميل التكوينات وإنشاء مثيل LLMRails في تطبيقك.
تنفيذ الاستدعاءات: استخدم طرق `generate` أو `generate_async` للتفاعل مع LLM عبر الحواجز.
نشر الخادم (اختياري): ابدأ خادم حواجز للوصول إلى واجهة برمجة التطبيقات لتكويناتك.
حالات استخدام NeMo Guardrails
- روبوتات الدردشة الآمنة
- استخراج البيانات
- الإشراف على المحتوى
- أنظمة RAG
- أمان نقطة نهاية LLM
- تدفقات الحوار المتحكم بها
- الحماية من نقاط الضعف
