الوصف
pplx-embed-v2-context-9b-preview هو نموذج تضمين سياقي مصمم خصيصًا للاستخدام في أنظمة الجيل المعزز بالاسترجاع (RAG). يقوم هذا النموذج بمعالجة الوثائق عن طريق تقسيمها إلى قطع وترميز هذه القطع معًا. تعكس التضمينات الناتجة سياق كل قطعة، مما يوفر تمثيلًا أكثر دقة. هذه نسخة تجريبية، ويجب على المستخدمين أن يكونوا على علم بأن الأوزان والتضمينات والواجهة قد تتغير في الإصدارات المستقبلية، مما قد يؤثر على التوافق العكسي.
قراءة المزيد
يستخدم النموذج طرق ترميز مختلفة للاستعلامات والوثائق، باستخدام encode_queries للاستعلامات وencode لقطع الوثائق. من المهم ملاحظة أن ترميز الاستعلامات باستخدام طريقة الوثيقة يمكن أن يؤدي إلى تدهور جودة الاسترجاع. ينتج النموذج تضمينات غير طبيعية من نوع int8، والتي يمكن مقارنتها باستخدام تشابه جيب التمام أو تطبيعها للمقارنة باستخدام حاصل الضرب.
يتطلب نموذج pplx-embed-v2-context-9b-preview تبعيات محددة، بما في ذلك transformers الإصدار 5.4.0 أو أعلى، torch، numpy، safetensors، و tqdm. يستخدم كودًا مخصصًا، مما يتطلب استخدام trust_remote_code=True عند تحميل النموذج. يمكن للمستخدمين ضبط خيارات مختلفة مثل حجم الدفعة، وتطبيع التضمينات، والتحويل إلى مصفوفات NumPy، وتخصيص الأجهزة.
تم تدريب النموذج باستخدام خسائر Matryoshka بأبعاد 1024 و2048، مما يسمح بالمرونة في حجم التضمين. ومع ذلك، تم تدريب الأبعاد 1024 و2048 فقط، ولا تدعم أحجام القطع الأخرى. هذا النموذج مثالي للمطورين والباحثين الذين يعملون مع أنظمة RAG والذين يحتاجون إلى تضمينات سياقية لمعالجة الوثائق.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح pplx-embed-v2-context-9b-preview
نموذج تضمين سياقي
يدعم أنظمة RAG
يرمز قطع الوثائق
ينتج تضمينات من نوع int8
ترميز منفصل للاستعلامات والوثائق
دعم الكود المخصص
تدريب خسارة Matryoshka
الأبعاد: 1024 و2048
البدء مع pplx-embed-v2-context-9b-preview
الوصول إلى النموذج: زيارة Hugging Face
المصادقة: استخدم بيانات اعتمادك
إعداد البيئة: تثبيت التبعيات
التكامل عبر API: استخدم encode وencode_queries
تحسين: ضبط حجم الدفعة والتطبيع
حالات استخدام pplx-embed-v2-context-9b-preview
- تقسيم الوثائق
- ترميز الاستعلامات
- تحليل سياقي
- تكامل نظام RAG
- مقارنة التضمينات
