الوصف
مُشفّر الجمل العالمي، الذي طورته جوجل، هو نموذج ذكاء اصطناعي قوي مصمم لتشفير النصوص إلى متجهات عالية الأبعاد. هذه المتجهات مفيدة لمجموعة متنوعة من مهام معالجة اللغة الطبيعية، بما في ذلك تصنيف النصوص، التشابه الدلالي، والتجميع. النموذج مُحسّن بشكل خاص لمعالجة النصوص التي تتجاوز طول الكلمة، مثل الجمل، العبارات، أو الفقرات القصيرة.
قراءة المزيد
تم تدريبه على مصادر بيانات متنوعة ومهام متعددة، يهدف مُشفّر الجمل العالمي إلى استيعاب مجموعة واسعة من مهام فهم اللغة الطبيعية. يقبل نصوص إنجليزية بطول متغير كمدخلات ويخرج متجهًا ذا أبعاد 512. يتم تطبيق هذا النموذج على معيار STS لقياس التشابه الدلالي، مما يُظهر فعاليته في قياس الدرجة التي تحمل بها قطعتان من النص نفس المعنى.
تم بناء المُشفّر باستخدام شبكة متوسطة عميقة (DAN) ويختلف عن نماذج تضمين الكلمات من خلال التركيز على معنى تسلسل الكلمات بدلاً من الكلمات الفردية. وهذا يجعله مناسبًا بشكل خاص للمهام التي تتطلب فهم السياق والدلالات للنص.
حجم الوحدة حوالي 1 جيجابايت، وعلى الرغم من أنه قد يستغرق بعض الوقت للتحميل في البداية، فإن التحميلات اللاحقة تكون أسرع بفضل التخزين المؤقت. بمجرد تحميله، يكون وقت الاستدلال سريعًا نسبيًا. يقوم النموذج بأفضل جهد لمعالجة مدخلات النص، مما يلغي الحاجة إلى المعالجة اليدوية.
بشكل عام، يُعتبر مُشفّر الجمل العالمي أداة متعددة الاستخدامات للمطورين والباحثين الذين يعملون على مشاريع معالجة اللغة الطبيعية، حيث يقدم قدرات قوية لتشفير وتحليل بيانات النصوص.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح مُشفّر الجمل العالمي
يشفر النصوص إلى متجهات عالية الأبعاد
محسن للجمل، العبارات، والفقرات القصيرة
ناتج متجه ذو أبعاد 512
مُشفّر باستخدام شبكة متوسطة عميقة (DAN)
قياس التشابه الدلالي
قدرات تصنيف النصوص
دعم التجميع
المعالجة المسبقة داخل النموذج
البدء مع مُشفّر الجمل العالمي
الوصول إلى النموذج: زيارة tfhub.dev
المصادقة: التأكد من أذونات الوصول
إعداد البيئة: تكوين TensorFlow
التكامل عبر API: استخدام واجهة برمجة تطبيقات TensorFlow Hub
تحسين: استخدام التخزين المؤقت لتحميلات أسرع
حالات استخدام مُشفّر الجمل العالمي
- تصنيف النصوص
- التشابه الدلالي
- التجميع
- فهم اللغة الطبيعية
- المعالجة المسبقة للبيانات
