الوصف
Stanza هي حزمة شاملة لتحليل اللغات الطبيعية بلغة بايثون مصممة لتوفير نماذج معالجة لغات طبيعية متطورة لمجموعة واسعة من اللغات البشرية. تم تطويرها بواسطة Stanford NLP، وهي تقدم خط أنابيب قوي لمعالجة النص الخام إلى معلومات لغوية منظمة. بدءًا من النص العادي، يمكن لـ Stanza تقسيمه إلى جمل وكلمات، وتحديد أجزاء الكلام، والتعرف على الكيانات المسماة، وإجراء التحليل النحوي.
قراءة المزيد
يكمن جوهر وظائف Stanza في خط أنابيب الشبكات العصبية الخاص بها، المبني على مكتبة PyTorch. يتضمن خط الأنابيب هذا مهام معالجة اللغات الطبيعية الأساسية مثل التقطيع، وتوسيع الكلمات المتعددة، والتجذير، ووسم أجزاء الكلام (POS) والسمات الصرفية، وتحليل التبعية، والتعرف على الكيانات المسماة. تم تصميم المكتبة لتحقيق الكفاءة، مع أداء أسرع بشكل ملحوظ عند تشغيلها على جهاز مزود بوحدة معالجة رسومات (GPU).
تتميز Stanza بدعم لغوي واسع، مع نماذج شبكات عصبية مدربة مسبقًا متاحة لأكثر من 70 لغة، وكلها تلتزم بنموذج Universal Dependencies. هذا التغطية الواسعة تجعلها أداة متعددة الاستخدامات للباحثين والمطورين الذين يعملون مع بيانات لغوية متنوعة. علاوة على ذلك، تدمج Stanza واجهة بايثون لحزمة Stanford CoreNLP بلغة جافا، وتستفيد من قدرات إضافية مثل تحليل التكوين، وحل الإحالات، ومطابقة الأنماط اللغوية، على الرغم من أن CoreNLP غير مطلوب لوظائف Stanza الأصلية.
تم تصميم المكتبة أيضًا لسهولة الاستخدام والتخصيص. فهي تسمح بالتدريب والتقييم الفعالين مع البيانات المشروحة المخصصة، مما يمكّن المستخدمين من تكييف النماذج مع مجالات محددة أو لغات غير مغطاة بالنماذج المدربة مسبقًا. تهدف Stanza إلى تقليل جهود الإعداد من خلال تطبيقها الأصلي بلغة بايثون، مما يجعل معالجة اللغات الطبيعية المتقدمة متاحة لجمهور أوسع.
تشمل الفوائد الرئيسية تطبيقها الأصلي بلغة بايثون للإعداد المباشر، وخط أنابيب شبكة عصبية كامل لتحليلات نصية قوية، ونماذج مدربة مسبقًا واسعة للعديد من اللغات، وواجهة بايثون مستقرة لـ Stanford CoreNLP. Stanza مرخصة بموجب ترخيص Apache، الإصدار 2.0، مما يعزز الاستخدام والتعديل المفتوحين.
- الفئةأدوات معالجة اللغة الطبيعية
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتWindows, macOS, Linux
الميزات الأساسية لـ مكتبة Stanza لمعالجة اللغات الطبيعية
التقطيع
توسيع الكلمات المتعددة (MWT)
التجذير
وسم أجزاء الكلام (POS)
وسم السمات الصرفية
تحليل التبعية
التعرف على الكيانات المسماة (NER)
دعم لأكثر من 70 لغة بشرية
خط أنابيب الشبكات العصبية
تنفيذ PyTorch
واجهة بايثون لـ Stanford CoreNLP
التدريب والتقييم الفعال مع البيانات المخصصة
البدء مع مكتبة Stanza لمعالجة اللغات الطبيعية
التثبيت عبر pip: pip install stanza
تنزيل نماذج اللغات: stanza.download('en')
تهيئة خط أنابيب الشبكة العصبية: nlp = stanza.Pipeline('en')
معالجة النص: doc = nlp('نصك هنا.')
الوصول إلى الشروحات: print(doc.sentences)
عرض الكيانات: print(doc.entities)
دمج CoreNLP (اختياري): استخدم عميل Stanford CoreNLP
حالات استخدام مكتبة Stanza لمعالجة اللغات الطبيعية
- تحليل النصوص
- أبحاث اللغات
- استخراج المعلومات
- المعالجة المسبقة للترجمة الآلية
- تحليل المشاعر
- تطوير روبوتات الدردشة
- تصنيف المحتوى
