FastSpeech 2

الوصف

يمثل FastSpeech 2 تقدمًا كبيرًا في تقنية تحويل النص إلى كلام (TTS) غير التراجعية، بناءً على أساس سابقه FastSpeech. بينما قدم FastSpeech توليدًا أسرع مقارنة بالنماذج التراجعية، فقد اعتمد على خط أنابيب تقطير معقد ويستهلك وقتًا طويلاً بين المعلم والطالب. هذه العملية، جنبًا إلى جنب مع دقة التنبؤ بالمدة وفقدان المعلومات المحتمل أثناء تبسيط البيانات، حدت من جودة الصوت التي يمكن تحقيقها.

يعالج FastSpeech 2 هذه القيود من خلال اعتماد نهج تدريب مباشر أكثر. بدلاً من الاعتماد على المخرجات المقطرة من نموذج المعلم، فإنه يتدرب مباشرة مع بيانات الهدف الحقيقية. والأهم من ذلك، أنه يقدم معلومات تنوع إضافية كمدخلات شرطية، بما في ذلك درجة الصوت والطاقة وتنبؤات مدة أكثر دقة. تُستخدم هذه الميزات المستخرجة أثناء التدريب ويتم التنبؤ بها أثناء الاستدلال، مما يسمح للنموذج بالتقاط الفروق الدقيقة للكلام البشري بشكل أفضل وحل مشكلة التعيين واحد إلى متعدد المتأصلة في TTS، حيث يمكن أن يتوافق نص واحد مع تنوعات كلام متعددة.

يُرى المزيد من الابتكار في FastSpeech 2s، الذي رائد في التوليد المباشر لموجات الصوت من النص بطريقة متوازية. هذه القدرة الاستدلالية الشاملة تعزز سرعة التوليد بشكل كبير. تظهر النتائج التجريبية أن FastSpeech 2 يحقق زيادة ثلاثية في سرعة التدريب مقارنة بـ FastSpeech، مع توفير FastSpeech 2s استدلالًا أسرع. من حيث جودة الصوت، يتفوق كل من FastSpeech 2 و 2s على FastSpeech، مع تفوق FastSpeech 2 حتى على جودة النماذج التراجعية التقليدية.

تسمح بنية النموذج بالتكامل المباشر للميزات الصوتية، مما يؤدي إلى كلام أكثر تعبيرًا وطبيعية. هذا يجعله مناسبًا لمجموعة واسعة من التطبيقات التي تتطلب توليد كلام عالي الجودة وسريع. تفتح القدرة على التحكم في تنوعات درجة الصوت والطاقة والتنبؤ بها إمكانيات لمخرجات صوتية أكثر ديناميكية وتخصيصًا، تتجاوز توليد الكلام الثابت.

أبرز ملامح FastSpeech 2

• توليد كلام شامل من النص إلى كلام

• بنية نموذج غير تراجعية

• تدريب مباشر مع أهداف حقيقية

• يدمج درجة الصوت والطاقة كمدخلات شرطية

• يتنبأ بالمدة ودرجة الصوت والطاقة للاستدلال

• يحقق تسريع تدريب بمقدار 3 أضعاف مقارنة بـ FastSpeech

• يوفر FastSpeech 2s توليد موجات صوت متوازية شاملة

• يتفوق على FastSpeech في جودة الصوت

• يمكن أن يتفوق على النماذج التراجعية في جودة الصوت

• يستخدم Parallel WaveGAN (PWG) كـ vocoder لعينات الصوت

• يقلل الضوضاء الخلفية باستخدام الطرح الطيفي

البدء مع FastSpeech 2

1. 1

   الوصول إلى النموذج: احصل على أوزان الكود الخاص بنموذج FastSpeech 2.

2. 2

   إعداد البيئة: قم بتكوين إطار التعلم العميق والتبعيات اللازمة.

3. 3

   إعداد البيانات: اجمع البيانات النصية والصوتية المقابلة وقم بمعالجتها مسبقًا.

4. 4

   تدريب النموذج: قم بتدريب FastSpeech 2 باستخدام الأهداف الحقيقية والميزات الصوتية المستخرجة.

5. 5

   التكامل عبر API: قم بتنفيذ النموذج المدرب للاستدلال في تطبيقك.

6. 6

   تحسين الاستدلال: استخدم FastSpeech 2s لتوليد كلام أسرع وشامل بالكامل.

حالات استخدام FastSpeech 2

• توليد كلام عالي الجودة
• تدريب TTS أسرع
• تطوير المساعد الصوتي
• إنشاء المحتوى
• أدوات إمكانية الوصول
• توليد الصوت في الوقت الفعلي

الأسئلة الشائعة من FastSpeech 2

• ما هو FastSpeech 2؟

  FastSpeech 2 هو نموذج شامل لتحويل النص إلى كلام مصمم لتوليد كلام سريع وعالي الجودة. إنه يحسن النماذج السابقة عن طريق دمج معلومات تنوع الصوت مثل درجة الصوت والطاقة مباشرة.

• كيف يحسن FastSpeech 2 جودة الصوت؟

  يعزز FastSpeech 2 جودة الصوت عن طريق التدريب المباشر مع الأهداف الحقيقية ودمج المزيد من معلومات التنوع مثل درجة الصوت والطاقة والمدة الدقيقة كمدخلات شرطية.

• ما هي فوائد سرعة التدريب لـ FastSpeech 2؟

  يحقق FastSpeech 2 تسريعًا في التدريب بمقدار 3 أضعاف مقارنة بسابقه FastSpeech، وذلك بفضل نهج التدريب المباشر وبنيته المحسنة.

• ما هو FastSpeech 2s؟

  FastSpeech 2s هو امتداد لـ FastSpeech 2 يقوم بتوليد موجات صوت مباشرة من النص بشكل متوازٍ، مما يوفر استدلالًا شاملًا وسرعات توليد أسرع.

• هل يتطلب FastSpeech 2 نموذج معلم للتدريب؟

  لا، يتدرب FastSpeech 2 مباشرة مع الأهداف الحقيقية، مما يلغي الحاجة إلى خط أنابيب تقطير المعلم والطالب الذي يتطلبه FastSpeech.

• ما نوع الميزات الصوتية التي يستخدمها FastSpeech 2؟

  يستخدم FastSpeech 2 المدة ودرجة الصوت والطاقة المستخرجة من موجات الصوت كمدخلات شرطية أثناء التدريب وقيم متنبأ بها أثناء الاستدلال.

• هل يمكن لـ FastSpeech 2 إنتاج كلام يضاهي النماذج التراجعية؟

  نعم، تظهر النتائج التجريبية أن FastSpeech 2 يمكن أن يتفوق على النماذج التراجعية في جودة الصوت.

• ما هو الـ vocoder المستخدم لعينات الصوت؟

  تستخدم جميع عينات الصوت المقدمة Parallel WaveGAN (PWG) كـ vocoder.

• كيف يتم التعامل مع الضوضاء الخلفية في عينات الصوت؟

  يتم تقليل الضوضاء الخلفية لـ LJSpeech في عينات الصوت باستخدام الطرح الطيفي.

• ما المشكلة التي يحلها FastSpeech 2 في TTS؟

  يحل FastSpeech 2 مشكلة التعيين واحد إلى متعدد في TTS بشكل أفضل من خلال دمج المزيد من معلومات تنوع الصوت، مما يؤدي إلى جودة أعلى وكلام أكثر طبيعية.