الوصف
نموذج OpenAI Whisper هو نموذج متقدم مدرب مسبقًا مصمم للتعرف التلقائي على الكلام (ASR) وترجمة الكلام. تم تطويره بواسطة OpenAI، يعتمد Whisper على بنية ترميز-فك ترميز تعتمد على Transformer، والمعروفة أيضًا بنموذج تسلسل إلى تسلسل. تم تدريبه على مجموعة بيانات واسعة تضم 680,000 ساعة من بيانات الكلام المعلّمة باستخدام إشراف ضعيف على نطاق واسع. يسمح هذا التدريب لـ Whisper بالتعميم بفعالية عبر مجموعات بيانات ومجالات مختلفة دون الحاجة إلى ضبط دقيق.
تتوفر نماذج Whisper في خمس تكوينات، تختلف كل منها في الحجم والقدرة. تم تدريب النماذج الأصغر على بيانات باللغة الإنجليزية فقط وأخرى متعددة اللغات، بينما النماذج الأكبر حجمًا متعددة اللغات فقط. هذه النماذج متاحة على منصة Hugging Face، مما يوفر مرونة لمهام ASR والترجمة المختلفة. يمكن لـ Whisper نسخ عينات الصوت وترجمة الكلام من لغة إلى أخرى، مما يجعله أداة متعددة الاستخدامات للمطورين والباحثين.
يستخدم النموذج رموز السياق لتحديد المهمة واللغة للنسخ أو الترجمة. توجه هذه الرموز النموذج في توقع اللغة والمهمة الناتجة، مما يسمح بتوقعات مضبوطة أو تلقائية. تمتد قدرات Whisper إلى النسخ الطويل من خلال خوارزمية تقسيم، مما يمكّنه من التعامل مع عينات الصوت ذات الطول التعسفي.
بينما يظهر Whisper أداءً قويًا في ASR والترجمة، إلا أن لديه قيودًا. قد تختلف دقة النموذج عبر اللغات، خاصة تلك التي تحتوي على بيانات تدريب أقل. بالإضافة إلى ذلك، قد ينتج عنه هلاوس، حيث يتضمن الناتج نصًا غير موجود في إدخال الصوت. على الرغم من هذه التحديات، فإن قوة Whisper في التعامل مع اللهجات والضوضاء الخلفية واللغة التقنية تجعله أداة قيمة لتحسين إمكانية الوصول وتطوير حلول ASR.
أبرز ملامح نموذج OpenAI Whisper
مدرب مسبقًا على 680,000 ساعة من البيانات
يدعم التعرف التلقائي على الكلام
يمكنه ترجمة الكلام
نموذج يعتمد على Transformer
متوفر في خمسة أحجام للنموذج
يتعامل مع المهام متعددة اللغات والإنجليزية فقط
رموز السياق للتحكم في المهمة واللغة
نسخ طويل باستخدام خوارزمية تقسيم
البدء مع نموذج OpenAI Whisper
الوصول إلى الصفحة: زيارة صفحة نموذج Hugging Face
تحميل النموذج: تنزيل نموذج Whisper من Hub
تكوين البيئة: إعداد WhisperProcessor
التكامل: استخدام رموز السياق للمهام
الضبط الدقيق: تحسين الأداء باستخدام بيانات معلمة
حالات استخدام نموذج OpenAI Whisper
- التعرف على الكلام
- ترجمة الكلام
- ASR متعدد اللغات
- أدوات الوصول
- البحث والتطوير
