الوصف
ContextGem هو إطار عمل مجاني ومفتوح المصدر يبسط استخراج البيانات المنظمة والرؤى من المستندات باستخدام نماذج اللغة الكبيرة (LLMs) ونماذج القرار. تم بناؤه لتحليل عميق للمستندات الفردية، مما يضمن قراءة كل فقرة لتجنب فقدان الحقائق، على عكس أساليب توليد المعلومات المعززة بالاسترجاع (RAG) التي قد تواجه صعوبة مع المفاهيم المعقدة بسبب عدم اتساق الاسترجاع.
قراءة المزيد
تشمل المكونات الأساسية للإطار المستندات والجوانب والمفاهيم. يمكن أن يحتوي المستند على نص و/أو محتوى بصري من مصادر متنوعة مثل العقود والفواتير والسير الذاتية أو المستندات العامة. تمثل الجوانب مجالات أو مواضيع محددة داخل المستند، مما يسمح بالاستخراج الدقيق مع وجود جوانب فرعية هرمية. المفاهيم هي وحدات من المعلومات أو الكيانات المستمدة من الجوانب أو سياق المستند الأوسع، وتتراوح من الاستخراج الواقعي مثل بنود العقوبات إلى الرؤى التحليلية والاستنتاجات المعقولة والأحكام التفسيرية. يدعم ContextGem أنواع متعددة من المفاهيم، بما في ذلك StringConcept وBooleanConcept وNumericalConcept وDateConcept وJsonObjectConcept وRatingConcept وLabelConcept.
يقدم ContextGem سير عمل استخراج مرنة باستخدام أنواع نماذج مختلفة. يسمح DocumentLLM لنموذج LLM قابل للتكوين باستخراج جميع الجوانب والمفاهيم، بما في ذلك المحتوى متعدد الوسائط إذا كان النموذج يدعم الرؤية. كما يدعم نماذج احتياطية للموثوقية. تم تصميم DocumentDecisionModel للأسئلة المغلقة (نعم/لا، اختر خيارًا واحدًا، قيم على مقياس)، حيث يوفر احتمالات لكل إجابة ممكنة دون توليد نص، مما يجعله سريعًا وفعالًا من حيث التكلفة لأنواع المفاهيم المحددة. بالنسبة للسيناريوهات الأكثر تعقيدًا، يمكّن DocumentModelGroup من استخدام نماذج متعددة بأدوار فريدة، مما يسمح لنماذج LLM أو نماذج القرار المختلفة بالتعامل مع جوانب أو مفاهيم محددة بناءً على تعقيدها أو نوعها.
تم تصميم الإطار للتكامل في سير العمل الآلي في ثلاث نقاط رئيسية: عند استيعاب المستندات لاستخراج البيانات الوصفية، كأداة للاستخراج عند الطلب بواسطة وكيل، وعند نقاط القرار حيث يمكن لنموذج القرار الإجابة على الأسئلة المغلقة لتوجيه سير العمل. يركز ContextGem على تحسين التكاليف من خلال استراتيجيات مثل اختيار نماذج فعالة من حيث التكلفة، واستخدام نماذج القرار للأسئلة المغلقة، واستغلال المعلمات الافتراضية، وتمكين التبريرات فقط عند الضرورة، ومراقبة الاستخدام والتكاليف. كما يوفر ممارسات أمان قوية، بما في ذلك تثبيت التبعيات، وتأخير اعتماد الإصدارات الجديدة، والتحقق من الإشعارات المعروفة للتخفيف من مخاطر سلسلة التوريد.
- الفئةأدوات معالجة اللغة الطبيعية
- نموذج التسعيرمجاني
- النشرمستضاف ذاتيًا
- المنصاتالويب
الميزات الأساسية لـ ContextGem
استخراج البيانات المنظمة من المستندات
يستفيد من نماذج اللغة الكبيرة للاستخراج المفتوح
يستخدم نماذج القرار للأسئلة المغلقة (نعم/لا، تسميات، تقييمات)
يدعم أنواع مستندات متنوعة (PDF، DOCX، PPTX، XLSX، HTML)
يستخرج أقسام مستندات محددة باستخدام واجهة برمجة التطبيقات للجوانب
يستنتج البيانات المنظمة مثل JSON، السلاسل النصية، الأرقام، التواريخ، القيم المنطقية باستخدام واجهة برمجة التطبيقات للمفاهيم
يبني خطوط استخراج قابلة لإعادة الاستخدام
موفرو نماذج LLM قابلة للتكوين ونماذج محلية
يحسن الاستخراج من حيث الدقة والتكلفة والأداء
تسلسل وفك تسلسل كائنات ContextGem
التكامل مع سير العمل الآلي
توثيق واجهة برمجة التطبيقات التفصيلية
إطار عمل مفتوح المصدر
استراتيجيات تحسين التكاليف
ممارسات أمان التبعيات
كيفية استخدام ContextGem؟
تثبيت ContextGem: اتبع التعليمات لإعداد الإطار.
إنشاء مستندات: تكوين المستندات لاستخراج المعلومات.
تحويل الملفات: معالجة الملفات مثل PDF وDOCX وPPTX وXLSX وHTML.
استخراج الجوانب: تحديد واستخراج أقسام مستندات محددة.
استخراج المفاهيم: استنتاج البيانات المنظمة مثل JSON والسلاسل النصية والأرقام والتواريخ.
بناء خطوط الأنابيب: إنشاء خطوط استخراج قابلة لإعادة الاستخدام لتحليل متسق.
استكشاف النماذج: تكوين واستخدام موفري نماذج LLM السحابية المدعومة والنماذج المحلية.
تحسين الاستخراج: تنفيذ استراتيجيات لتحقيق الكفاءة من حيث التكلفة والأداء.
حالات استخدام ContextGem
- تحليل العقود
- معالجة الفواتير
- تحليل السير الذاتية
- استخراج بيانات البحث الطبي
- تحليل التقارير المالية
- مراجعة الوثائق الفنية
- استخراج سياسات الموارد البشرية
- استخراج بيانات وصفية للمستندات
- تكامل أدوات الوكلاء
- اتخاذ قرارات سير العمل







