الوصف
FNet هو نموذج ذكاء اصطناعي مبتكر طورته Google Research، ويقدم كبنية مشفرة فعالة للغاية تشبه Transformer. يكمن ابتكاره الأساسي في استبدال طبقات الانتباه الذاتي التقليدية بتحويلات فورييه قياسية غير معلمة. يهدف هذا التحول المعماري إلى تحقيق أداء مماثل للنماذج الراسخة مع تحسين الكفاءة الحسابية بشكل كبير.
قراءة المزيد
المشروع، المستضاف على GitHub ضمن مستودع google-research/google-research، يوفر الكود والنماذج اللازمة لتكرار النتائج المفصلة في الورقة البحثية المصاحبة، "FNet: Mixing Tokens with Fourier Transforms". تم تدريب النماذج مسبقًا على مجموعة بيانات C4 وهي مصممة للضبط الدقيق على مهام لاحقة، مثل تلك الموجودة في معيار GLUE.
تم تنفيذ FNet باستخدام Jax و Flax، ويوفر مرونة للباحثين والمطورين. يتضمن المستودع تكوينات لكل من التدريب المسبق والضبط الدقيق، بالإضافة إلى نصوص برمجية لتشغيل هذه العمليات. يمكن للمستخدمين تنزيل نقاط التحقق المدربة مسبقًا لمختلف معماريات النماذج الأساسية والكبيرة، بما في ذلك FNet و Linear و BERT و FF_ONLY و RANDOM، مما يسمح بالتجريب والنشر السريع.
نموذج FNet مناسب بشكل خاص لتطبيقات معالجة اللغة الطبيعية (NLP) حيث تكون الموارد الحسابية قيد الاعتبار، ولكن لا يزال الأداء العالي مطلوبًا. يقدم نهجه الفريد في خلط الرموز من خلال تحويلات فورييه اتجاهًا جديدًا في تطوير معماريات التعلم العميق الفعالة لنمذجة التسلسل. تشجع الطبيعة مفتوحة المصدر للمشروع على مساهمة المجتمع والتطوير الإضافي.
يتضمن التثبيت استنساخ المستودع وتثبيت التبعيات عبر pip. يتم توفير اختبارات الوحدة لضمان سلامة قاعدة الكود. يقدم المشروع أيضًا إرشادات حول كيفية التدريب المسبق أو الضبط الدقيق لنماذج FNet، بما في ذلك وسيطات سطر الأوامر وخيارات ملف التكوين الضرورية. هذا يجعل FNet متاحًا لمجموعة واسعة من المستخدمين، من الباحثين الأكاديميين إلى الممارسين في الصناعة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ FNet
بنية مشفرة تشبه Transformer
يستبدل الانتباه الذاتي بتحويلات فورييه
كفاءة حسابية عالية
منفذ في Jax/Flax
تم تدريبه مسبقًا على مجموعة بيانات C4
قابل للضبط الدقيق على معيار GLUE
كود ونماذج مفتوحة المصدر متاحة على GitHub
يتضمن تكوينات للتدريب المسبق والضبط الدقيق
يوفر نقاط تحقق مدربة مسبقًا لأحجام ومعماريات نماذج مختلفة
يدعم نماذج المفردات المخصصة
يتضمن اختبارات وحدة للتحقق من الكود
البدء مع FNet
استنساخ المستودع: قم بتنزيل كود FNet من مستودع Google Research على GitHub.
تثبيت التبعيات: قم بتشغيل 'pip install -r f_net/requirements.txt' في بيئة Python.
إعداد البيئة: تأكد من أن دليل العمل الخاص بك هو المجلد الأصل لمجلد 'f_net'.
تنزيل المفردات: احصل على نموذج مفردات SentencePiece المطلوب للتدريب.
تكوين التدريب: حدد ملف التكوين المناسب (pretraining.py أو classification.py).
تشغيل التدريب: قم بتنفيذ التدريب عبر سطر الأوامر باستخدام 'python3 -m f_net.main --workdir=... --vocab_filepath=... --config=...'
حالات استخدام FNet
- نماذج معالجة لغة طبيعية فعالة
- البحث والتطوير
- نمذجة التسلسل
- بدائل Transformer
- الضبط الدقيق للمهام
