الوصف
يقدم هذا المورد مجموعة من العروض الصوتية التوضيحية لـ DiffWave، وهو نموذج انتشار متعدد الاستخدامات مصمم لتوليد الصوت. تم تنظيم العروض التوضيحية في عدة أقسام، توضح قدرات النموذج عبر مهام ومجموعات بيانات مختلفة.
قراءة المزيد
يركز القسم الأول على الترميز الصوتي العصبي باستخدام مجموعة بيانات LJ Speech. هنا، يتم إنشاء عينات صوتية عن طريق التكييف مع طيف ميل (mel spectrogram) الحقيقي. تتم مقارنات بين DiffWave مع قنوات متبقية (C) وخطوات انتشار (T) مختلفة، جنبًا إلى جنب مع نماذج أخرى مثل WaveNet و WaveFlow. أحد أبرز الميزات هو القدرة على أخذ العينات بسرعة، حيث يمكن توليد الصوت بسرعة باستخدام عدد أقل من خطوات الاستدلال (T infer) حتى لو تم تدريب النموذج بعدد أكبر من خطوات الانتشار.
يوضح القسم الثاني التوليد المشروط بالفئة للموجات الصوتية على مجموعة بيانات SC09، حيث يتم تكييف الصوت مع تسميات الأرقام (0-9). يقدم هذا القسم أمثلة على كيفية قيام DiffWave بإنشاء أصوات محددة بناءً على الفئات المدخلة، مع مقارنات مع التسجيلات الحقيقية و WaveNet.
يستكشف القسم الثالث التوليد غير المشروط للموجات الصوتية على مجموعة بيانات SC09، مما ينتج صوتًا بدون أي معلومات تكييف محددة. يتم تقديم النتائج مع تسميات الأرقام التي عينها المستمعون البشريون، مما يعرض قدرة النموذج على إنشاء صوت واقعي بطريقة غير مقيدة، مقارنةً بالبيانات الحقيقية و WaveGAN.
يتعمق القسم الرابع في خطوات إزالة الضوضاء ضمن عملية الانتشار العكسي لـ DiffWave. يوضح كيف يقوم النموذج بتحويل الضوضاء البيضاء تدريجيًا إلى أصوات بشرية عبر سلسلة من الخطوات (من t=200 إلى t=0)، مما يوضح التحسين التدريجي لجودة الصوت. يتضمن هذا القسم تحذيرًا بشأن مستويات الصوت العالية المحتملة.
يقدم القسم الخامس إزالة ضوضاء الكلام بدون تدريب مسبق (zero-shot)، وهي قدرة غير متوقعة تم اكتشافها مع نموذج DiffWave غير المشروط. حتى بدون تدريب محدد لإزالة الضوضاء، يقوم النموذج بإزالة أنواع مختلفة من الضوضاء (بيضاء، وردية، صنبور ماء جارٍ، إلخ) بفعالية من مدخلات الصوت المشوشة، مما يدل على معرفة مسبقة قوية بخصائص الصوت.
أخيرًا، يعرض القسم السادس إمكانيات الاستيفاء (interpolation) مع نموذج DiffWave المشروط بالأرقام على مجموعة بيانات SC09. يتيح ذلك انتقالات سلسة بين عينات صوتية مختلفة، مثل الأصوات بين متحدثين، عن طريق الاستيفاء في الفضاء الكامن (latent space). توضح الأمثلة درجات متفاوتة من أوزان الاستيفاء.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح عروض توضيحية لتوليد الصوت DiffWave
ترميز صوتي عصبي على مجموعة بيانات LJ Speech
توليد موجات صوتية مشروطة بالفئة على مجموعة بيانات SC09
توليد موجات صوتية غير مشروطة على مجموعة بيانات SC09
توليد صوت سريع بخطوات استدلال مخفضة
عرض خطوات إزالة الضوضاء في العملية العكسية
قدرة إزالة ضوضاء الكلام بدون تدريب مسبق (zero-shot)
استيفاء الفضاء الكامن لدمج الصوت
مقارنة مع نماذج WaveNet و WaveFlow و WaveGAN
عينات صوتية تم إنشاؤها بمعلمات نموذج مختلفة (C, T, T infer)
أمثلة على إزالة الضوضاء من الصوت
استيفاء بين عينات صوتية مختلفة
البدء مع عروض توضيحية لتوليد الصوت DiffWave
استكشاف العروض التوضيحية: تصفح الأقسام التي تعرض مهام توليد صوت مختلفة.
الاستماع إلى العينات: قم بتشغيل المقاطع الصوتية التي تم إنشاؤها بواسطة DiffWave وقارنها بالبيانات الحقيقية.
تحليل الأداء: لاحظ مخرجات النموذج بمعلمات مختلفة (C, T, T infer).
اختبار القدرات: قم بتقييم ميزات إزالة الضوضاء بدون تدريب مسبق والاستيفاء.
الوصول إلى الكود: ابحث عن إعادة تنفيذ DiffWave على GitHub لمزيد من التجارب.
حالات استخدام عروض توضيحية لتوليد الصوت DiffWave
- توليد الصوت
- الترميز الصوتي العصبي
- إزالة ضوضاء الكلام
- التوليد الصوتي المشروط
- التوليد الصوتي غير المشروط
- استيفاء الصوت
