الوصف
نموذج bert-base-uncased، الذي تم تطويره بواسطة Google، هو نموذج تحويل أساسي مدرب مسبقًا على مجموعة كبيرة من النصوص الإنجليزية. يستخدم هدف نمذجة اللغة المقنعة (MLM)، حيث يتم إخفاء 15% من الكلمات في الجملة بشكل عشوائي، ويكون على النموذج توقع هذه الكلمات المخفية. تتيح هذه الطريقة للنموذج تعلم تمثيلات ثنائية الاتجاه للجمل، مما يميزه عن النماذج التقليدية التي تعالج الكلمات بشكل تسلسلي. بالإضافة إلى ذلك، يستخدم النموذج توقع الجملة التالية (NSP)، حيث يتوقع ما إذا كانت جملتان تتبعان بعضهما البعض في النص الأصلي، مما يعزز فهمه لبنية اللغة.
قراءة المزيد
تم إصدار BERT بتكوينات مختلفة، بما في ذلك النسخ الأساسية والكبيرة، ويدعم كل من المدخلات المميزة وغير المميزة. لا تميز النماذج غير المميزة بين الحروف الكبيرة والصغيرة، مما يجعلها متعددة الاستخدامات لتطبيقات مختلفة. النسخة bert-base-uncased تحتوي على 110 مليون معلمة وتهدف بشكل أساسي إلى التخصيص على المهام اللاحقة مثل تصنيف التسلسل، وتصنيف الرموز، والإجابة على الأسئلة. لم يتم تصميمها لمهام توليد النصوص، حيث تكون النماذج مثل GPT-2 أكثر ملاءمة لذلك.
تشمل بيانات تدريب BERT مجموعة بيانات BookCorpus، التي تتكون من أكثر من 11,000 كتاب غير منشور، وويكيبيديا الإنجليزية، مما يوفر مجموعة متنوعة من أمثلة اللغة. تضمنت عملية تدريب النموذج تقنيات متقدمة، بما في ذلك استخدام TPUs السحابية وعملية تحسين محددة تضمنت تسخين معدل التعلم وتخفيضه.
بينما النموذج قوي، من المهم ملاحظة أنه قد يظهر تحيزات بناءً على بيانات التدريب، مما يمكن أن يؤثر على توقعاته. يُشجع المستخدمون على استكشاف النسخ المخصصة من BERT للمهام المحددة، حيث يمكن أن توفر أداءً محسنًا في تطبيقات معالجة اللغة الطبيعية المختلفة.
- الفئةأدوات معالجة اللغة الطبيعية
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح BERT base uncased
نوع النموذج: تحويل
المعلمات: 110M
اللغة: الإنجليزية
هدف التدريب: MLM و NSP
دعم التخصيص: نعم
الاستخدام المقصود: مهام معالجة اللغة الطبيعية
بيانات التدريب: BookCorpus وويكيبيديا
تنوعات النموذج: أساسي وكبير
البدء مع BERT base uncased
الوصول إلى الصفحة: زيارة صفحة نموذج Hugging Face لـ bert-base-uncased.
تحميل النموذج: استخدام مكتبة Hugging Face Transformers لتحميل النموذج.
تكوين البيئة: إعداد بيئة البرمجة الخاصة بك مع المكتبات اللازمة.
التكامل: تنفيذ النموذج في تطبيقك لمهام معالجة اللغة الطبيعية.
التخصيص: ضبط النموذج على مجموعة البيانات الخاصة بك لتحسين الأداء.
حالات استخدام BERT base uncased
- تصنيف النص
- الإجابة على الأسئلة
- تصنيف الرموز
- تحليل المشاعر
- التعرف على الكيانات المسماة
