OpenAI Whisper

الوصف

Whisper هو نموذج قوي مفتوح المصدر للتعرف على الكلام طورته OpenAI، مبني على الإشراف الضعيف واسع النطاق. يعمل كنموذج متعدد المهام ومتعدد الاستخدامات قادر على أداء التعرف على الكلام متعدد اللغات، وترجمة الكلام، وتحديد اللغة. يسمح هذا النهج الموحد لنموذج تسلسل إلى تسلسل واحد من نوع Transformer بمعالجة المهام التي كانت تتطلب تقليديًا مراحل متعددة ومتميزة.

تم تدريب النموذج على مجموعة بيانات واسعة ومتنوعة من الصوت، مما يمكّنه من معالجة أنماط الكلام واللغات المختلفة بفعالية. تمثل بنيته بشكل مشترك مهام معالجة الكلام المختلفة كسلسلة من الرموز (tokens) التي يتنبأ بها المُفكك (decoder). يبسط هذا التصميم خط أنابيب معالجة الكلام بشكل كبير.

يقدم Whisper مجموعة من أحجام النماذج، بما في ذلك متغيرات مخصصة للغة الإنجليزية فقط، مما يوفر مفاضلة بين السرعة والدقة. هذه النماذج مناسبة لمتطلبات الأجهزة والأداء المختلفة. يوفر المشروع تعليمات واضحة للإعداد والاستخدام، بما في ذلك تثبيت حزمة Python والتبعيات الضرورية للنظام مثل ffmpeg. تتوفر واجهات سطر الأوامر وواجهة برمجة تطبيقات Python للتكامل السهل في سير العمل المختلف.

بالنسبة للمطورين والباحثين، يوفر Whisper المرونة في كيفية استخدامه. سواء كان ذلك لنسخ الملفات الصوتية مباشرة عبر سطر الأوامر أو دمج قدراته في تطبيقات Python، فإن النموذج مصمم ليكون سهل الوصول إليه. يشجع المشروع أيضًا على مساهمات المجتمع ومشاركة الأمثلة من خلال مناقشات GitHub الخاصة به.

تشمل القدرات الرئيسية النسخ الدقيق عبر لغات متعددة، وترجمة الكلام إلى اللغة الإنجليزية، وتحديد اللغات المنطوقة. يتيح توفر أحجام نماذج مختلفة، من 'tiny' إلى 'large'، للمستخدمين اختيار الأنسب لاحتياجاتهم الخاصة، مع الموازنة بين الموارد الحسابية والدقة المطلوبة. يقدم نموذج 'turbo' سرعة نسخ محسّنة وأسرع مع الحد الأدنى من التنازل عن الدقة.

تم إصدار المشروع بموجب ترخيص MIT، مما يجعله متاحًا مجانًا للاستخدام البحثي والتجاري على حد سواء. يعمل مستودع GitHub كمركز رئيسي للكود والتوثيق وتفاعل المجتمع، مما يعزز الشفافية والتطوير التعاوني.

أبرز ملامح OpenAI Whisper

• التعرف على الكلام متعدد اللغات

• ترجمة الكلام إلى اللغة الإنجليزية

• تحديد اللغة

• بنية تسلسل إلى تسلسل من نوع Transformer

• أحجام نماذج متعددة (tiny, base, small, medium, large, turbo)

• متغيرات نماذج للغة الإنجليزية فقط

• واجهة سطر الأوامر

• واجهة برمجة تطبيقات Python للتكامل

• مفتوح المصدر بموجب ترخيص MIT

• تم تدريبه على بيانات صوتية متنوعة واسعة النطاق

البدء مع OpenAI Whisper

1. 1

   استنساخ: استنسخ مستودع Whisper من GitHub.

2. 2

   تثبيت التبعيات: قم بتثبيت تبعيات Python باستخدام pip، بما في ذلك tiktoken من OpenAI و ffmpeg.

3. 3

   التكوين: تأكد من تثبيت Rust إذا لم تكن العجلات المُعدة مسبقًا لـ tiktoken متاحة.

4. 4

   التنفيذ: استخدم واجهة سطر الأوامر أو واجهة برمجة تطبيقات Python لنسخ، أو ترجمة، أو اكتشاف اللغة في الملفات الصوتية.

حالات استخدام OpenAI Whisper

• نسخ الصوت
• ترجمة الكلام
• تحديد اللغة
• اكتشاف نشاط الصوت
• تحليل المحتوى
• أدوات إمكانية الوصول
• تكامل المطورين

الأسئلة الشائعة من OpenAI Whisper

• ما هو OpenAI Whisper؟

  OpenAI Whisper هو نموذج للتعرف على الكلام للأغراض العامة تم تدريبه على مجموعة بيانات كبيرة من الصوت المتنوع. يمكنه أداء التعرف على الكلام متعدد اللغات، وترجمة الكلام، وتحديد اللغة.

• كيف يتعامل Whisper مع اللغات المختلفة؟

  Whisper هو نموذج متعدد اللغات تم تدريبه للتعرف على الكلام ومعالجته من لغات مختلفة. يمكنه أيضًا ترجمة الكلام غير الإنجليزي إلى اللغة الإنجليزية.

• ما هي أحجام النماذج المختلفة المتاحة لـ Whisper؟

  يقدم Whisper ستة أحجام نماذج: tiny, base, small, medium, large, و turbo. بعضها يحتوي على متغيرات للغة الإنجليزية فقط (مثل tiny.en) لتحسين أداء اللغة الإنجليزية.

• هل يمكن استخدام Whisper لترجمة الكلام؟

  نعم، يمكن لـ Whisper إجراء ترجمة للكلام. للحصول على أفضل نتائج الترجمة إلى اللغة الإنجليزية، يوصى باستخدام النماذج متعددة اللغات المتوسطة أو الكبيرة مع خيار --task translate.

• ما هي متطلبات النظام لتثبيت Whisper؟

  يتطلب Whisper Python 3.8-3.11 وإصدارات حديثة من PyTorch. يعتمد أيضًا على أداة سطر الأوامر ffmpeg وربما Rust لتثبيت tiktoken.

• كيف يمكنني تثبيت Whisper؟

  يمكنك تثبيت Whisper باستخدام pip: `pip install -U openai-whisper`. بدلاً من ذلك، يمكنك التثبيت مباشرة من مستودع GitHub.

• هل Whisper مجاني للاستخدام؟

  نعم، تم إصدار كود Whisper وأوزان النموذج بموجب ترخيص MIT، مما يجعله متاحًا للاستخدام البحثي والتجاري على حد سواء.

• ما هو نموذج 'turbo' في Whisper؟

  نموذج 'turbo' هو نسخة محسّنة من large-v3 توفر سرعات نسخ أسرع مع الحد الأدنى من تدهور الدقة، وهو مفيد بشكل خاص للكلام الإنجليزي.

• كيف يختلف نهج Whisper عن معالجة الكلام التقليدية؟

  يستخدم Whisper نموذج تسلسل إلى تسلسل واحد من نوع Transformer لمهام متعددة، ليحل محل خطوط الأنابيب التقليدية التي غالبًا ما تتضمن مراحل منفصلة للنمذجة الصوتية، والنمذجة اللغوية، والمزيد.

• أين يمكنني العثور على أمثلة لاستخدام Whisper؟

  يمكن العثور على أمثلة واستخدامات يشاركها المجتمع، بما في ذلك العروض التوضيحية على الويب والتكاملات، في فئة 'Show and tell' ضمن مناقشات GitHub لمستودع Whisper.