الوصف
نموذج NVIDIA Parakeet هو نموذج متقدم للتعرف على الصوت تلقائيًا (ASR) يحتوي على 600 مليون معلمة، مصمم لتقديم نصوص إنجليزية عالية الجودة. يدعم علامات الترقيم التلقائية، وتكبير الحروف، وتوقعات دقيقة للوقت على مستوى الكلمات، مما يجعله مناسبًا لمجموعة متنوعة من التطبيقات مثل الذكاء الاصطناعي المحادثاتي، والمساعدات الصوتية، وخدمات النسخ.
قراءة المزيد
يعتمد النموذج على بنية FastConformer، ويجمع بين وحدة فك التشفير TDT، وتم تدريبه باستخدام الانتباه الكامل. وهذا يمكّن من النسخ الفعال لمقاطع الصوت التي تصل مدتها إلى 24 دقيقة في تمريرة واحدة. يحقق RTFx قدره 3380 على لوحة قيادة HF-Open-ASR بحجم دفعة يبلغ 128، على الرغم من أن الأداء قد يختلف اعتمادًا على مدة الصوت في مجموعة البيانات وحجم الدفعة.
نموذج NVIDIA Parakeet جاهز للاستخدام التجاري وغير التجاري، ويخضع لرخصة CC-BY-4.0. تم تحسينه للعمل على أنظمة معززة بوحدات معالجة الرسوميات NVIDIA، مستفيدًا من الأجهزة مثل أنوية GPU وأطر العمل البرمجية مثل مكتبات CUDA لتسريع أوقات التدريب والاستدلال مقارنةً بالحلول التي تعتمد فقط على وحدة المعالجة المركزية.
النموذج موجه للمطورين والباحثين والأكاديميين والصناعات التي تبني تطبيقات تتطلب قدرات تحويل الصوت إلى نص. تم تدريبه باستخدام مجموعة أدوات NeMo، وتم تهيئته من نقطة تفتيش FastConformer SSL وتم ضبطه على بيانات عالية الجودة تم نسخها بواسطة البشر. تتضمن مجموعة بيانات التدريب حوالي 120,000 ساعة من بيانات الصوت الإنجليزية من مصادر متنوعة.
يظهر نموذج NVIDIA Parakeet أداءً قويًا عبر نسب الإشارة إلى الضوضاء المختلفة وصيغ الصوت الهاتفية. يتم تقييمه باستخدام مجموعات بيانات لوحة قيادة Huggingface Open ASR، حيث يحقق معدل خطأ الكلمات (WER) يبلغ 6.05% في المتوسط. تم تصميم النموذج ليكون مقاومًا للضوضاء ويؤدي بشكل جيد عبر أنواع مختلفة من مدخلات الصوت.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتLinux
أبرز ملامح نموذج التعرف على الصوت NVIDIA Parakeet
نموذج ASR يحتوي على 600 مليون معلمة
علامات ترقيم وتكبير تلقائية
توقعات دقيقة للوقت على مستوى الكلمات
أداء قوي في الأرقام المنطوقة وكلمات الأغاني
بنية FastConformer مع وحدة فك التشفير TDT
يدعم مقاطع الصوت التي تصل مدتها إلى 24 دقيقة
RTFx قدره 3380 على لوحة قيادة HF-Open-ASR
محسن لأنظمة معززة بوحدات معالجة الرسوميات NVIDIA
استخدام تجاري وغير تجاري
رخصة CC-BY-4.0
البدء مع نموذج التعرف على الصوت NVIDIA Parakeet
الوصول إلى الصفحة: زيارة huggingface.co/nvidia/parakeet-tdt-0.6b-v2
تحميل النموذج: استخدام مجموعة أدوات NeMo لتحميل النموذج المدرب مسبقًا
تهيئة البيئة: تثبيت NVIDIA NeMo وPyTorch
التكامل: استخدام API أو CLI لمهام النسخ
الضبط الدقيق: تخصيص النموذج مع مجموعات بيانات إضافية
حالات استخدام نموذج التعرف على الصوت NVIDIA Parakeet
- الذكاء الاصطناعي المحادثاتي
- المساعدات الصوتية
- خدمات النسخ
- توليد الترجمة النصية
- تحليل الصوت
