Jina Embeddings v3

الوصف

Jina Embeddings v3 هو نموذج متقدم لتضمين النصوص متعدد اللغات تم تطويره بواسطة Jina AI. تم تصميمه لتلبية مجموعة واسعة من تطبيقات معالجة اللغة الطبيعية (NLP). يعتمد النموذج على بنية Jina-XLM-RoBERTa وي incorporات تضمينات المواقع الدوارة (RoPE)، مما يسمح له بالتعامل مع تسلسلات الإدخال الطويلة حتى 8192 رمزًا. هذه القدرة مفيدة بشكل خاص للتطبيقات التي تتطلب معالجة نصوص واسعة.

يتميز النموذج بخمسة محولات LoRA، مما يمكّن من توليد تضمينات محددة للمهام بكفاءة. يمكن للمستخدمين تخصيص التضمينات لمهام مختلفة، بما في ذلك استعلامات الاسترجاع، وتضمينات المقاطع، والتجميع، والتصنيف، ومطابقة النصوص. تجعل هذه المرونة Jina Embeddings v3 مناسبًا لمهام الاسترجاع غير المتناظرة، وتطبيقات التجميع وإعادة الترتيب، ومهام التصنيف، والمهام التي تقيس تشابه النصوص.

يدعم Jina Embeddings v3 تضمينات ماتريوشكا، مما يوفر أحجام تضمين مرنة تتراوح من 32 إلى 1024. تتيح هذه الميزة للمستخدمين تقصير التضمينات لتناسب احتياجات التطبيقات المحددة. تم ضبط النموذج لـ 30 لغة، بما في ذلك العربية والصينية والإنجليزية والفرنسية والألمانية والهندية واليابانية والكورية والإسبانية، من بين لغات أخرى.

تحديث ملحوظ في النموذج هو إصلاح خطأ في وظيفة التشفير، مما يضمن تطبيعًا متسقًا للتضمينات المقصورة. يُنصح المستخدمون بتطبيق تجميع المتوسط عند دمج النموذج، حيث إن هذه الطريقة تؤدي إلى تضمينات جمل عالية الجودة. يمكن استخدام النموذج عبر واجهة برمجة تطبيقات Jina Embedding أو مباشرة من خلال حزمة Transformers.

Jina Embeddings v3 متوافق مع وحدات معالجة الرسوميات التي تدعم FlashAttention-2، مثل وحدات معالجة الرسوميات Ampere وAda وHopper. يتم ترخيصه بموجب CC BY-NC 4.0، مع توجيه الاستفسارات المتعلقة بالاستخدام التجاري إلى Jina AI. شهد النموذج استخدامًا كبيرًا، حيث تم تنزيله أكثر من 2 مليون مرة في الشهر الماضي، وهو مدرج على منصات AWS وAzure.

أبرز ملامح Jina Embeddings v3

• دعم متعدد اللغات لـ 30 لغة

• طول تسلسل ممتد يصل إلى 8192 رمزًا

• تضمينات محددة للمهام مع محولات LoRA

• تضمينات ماتريوشكا لأحجام مرنة

• تجميع المتوسط لتضمينات جمل عالية الجودة

• توافق مع وحدات معالجة الرسوميات FlashAttention-2

• دعم الضبط الدقيق مع SentenceTransformerTrainer

• استدلال ONNX لمعالجة فعالة

• إصلاح خطأ لتطبيع وظيفة التشفير

• ترخيص CC BY-NC 4.0

البدء مع Jina Embeddings v3

1. 1

   الوصول إلى الصفحة: زيارة huggingface.co/jinaai/jina-embeddings-v3

2. 2

   تحميل النموذج: استخدام AutoModel.from_pretrained

3. 3

   تكوين البيئة: التأكد من توافق وحدة معالجة الرسوميات

4. 4

   دمج: تطبيق تجميع المتوسط للتضمينات

5. 5

   الضبط الدقيق: استخدام SentenceTransformerTrainer للمهام

حالات استخدام Jina Embeddings v3

• استرجاع النصوص
• تصنيف النصوص
• التجميع
• مطابقة النصوص
• المعالجة متعددة اللغات

الأسئلة الشائعة من Jina Embeddings v3

• ما هو استخدام Jina Embeddings v3؟

  يستخدم Jina Embeddings v3 لتضمين النصوص متعددة اللغات عبر مهام معالجة اللغة الطبيعية المختلفة، بما في ذلك الاسترجاع والتصنيف ومطابقة النصوص.

• كيف يتعامل Jina Embeddings v3 مع تسلسلات الإدخال الطويلة؟

  يستخدم تضمينات المواقع الدوارة لمعالجة تسلسلات الإدخال حتى 8192 رمزًا.

• هل يمكن ضبط Jina Embeddings v3 بدقة؟

  نعم، يدعم الضبط الدقيق مع SentenceTransformerTrainer للمهام المحددة.

• ما هي اللغات التي يدعمها Jina Embeddings v3؟

  يدعم 30 لغة، بما في ذلك الإنجليزية والصينية والعربية والإسبانية.

• ما هي ميزة تضمينات ماتريوشكا؟

  تتيح أحجام تضمين مرنة، مما يمكّن من تقصيرها لتناسب احتياجات التطبيقات.

• هل Jina Embeddings v3 متوافق مع جميع وحدات معالجة الرسوميات؟

  إنه متوافق مع وحدات معالجة الرسوميات التي تدعم FlashAttention-2، مثل وحدات معالجة الرسوميات Ampere وAda وHopper.

• ما هو الترخيص الذي يخضع له Jina Embeddings v3؟

  يتم ترخيصه بموجب CC BY-NC 4.0.

• كيف يمكنني دمج Jina Embeddings v3؟

  يمكنك دمجه باستخدام تجميع المتوسط لتضمينات جمل عالية الجودة.