الوصف
SoundStorm هو نموذج ذكاء اصطناعي متقدم مصمم لتوليد الصوت بكفاءة عالية وغير تصاعدية. يأخذ رموزًا دلالية من AudioLM كمدخلات ويستخدم الانتباه ثنائي الاتجاه مع فك التشفير المتوازي القائم على الثقة لتوليد الرموز لترميز الصوت العصبي. تسرع هذه الطريقة بشكل كبير إنتاج الصوت، وتحقق سرعات أسرع بمرتين من توليد AudioLM التصاعدي.
قراءة المزيد
يتفوق هذا النموذج في إنتاج صوت بجودة مكافئة واتساق فائق في الصوت والظروف الصوتية مقارنة بأسلافه. تتمثل إحدى القدرات الرئيسية في قدرته على توليد 30 ثانية من الصوت في 0.5 ثانية فقط على TPU-v4. يظهر SoundStorm قابلية التوسع لتسلسلات صوتية أطول، مما يتيح توليف مقاطع حوار طبيعية وعالية الجودة. يتم تحقيق ذلك عن طريق التكييف مع نص مشروح بأدوار المتحدثين وموجه صوتي قصير من المتحدث المطلوب.
عند دمجه مع مراحل نمذجة النص إلى دلالي مثل SPEAR-TTS، يمكن لـ SoundStorm توليف حوارات تبدو طبيعية. يمكن للمستخدمين التحكم بدقة في المحتوى المنطوق من خلال النصوص، وصوت المتحدث عبر موجهات قصيرة، وتدفق المحادثة من خلال تعليقات أدوار المتحدثين. على سبيل المثال، يستغرق توليف مقاطع حوار مدتها 30 ثانية ثانيتين فقط على TPU-v4 واحد، حتى للنصوص والمتحدثين غير المرئيين أثناء التدريب.
يوفر SoundStorm أيضًا إمكانيات لتوليد الصوت غير الموجه والموجه. في السيناريو غير الموجه، يقوم بأخذ عينات من متحدثين مختلفين، بينما في الحالة الموجهة، يحافظ على صوت المتحدث بدقة عالية. هذا يجعله أداة قوية لمختلف مهام توليف الصوت. مقارنة بالطرق الأساسية مثل AudioLM وفك التشفير الجشع، يوفر SoundStorm اتساقًا صوتيًا محسّنًا وحفظًا أفضل للصوت من الموجهات، إلى جانب جودة صوت أعلى.
يجعل خط أنابيب التوليد الفعال للنموذج البحث في توليد الصوت أكثر سهولة. في حين أن القدرة على تقليد الأصوات تثير مخاوف بشأن سوء الاستخدام المحتمل، مثل انتحال الشخصية، يتم تطوير الضمانات. لقد ثبت أن الصوت الذي تم إنشاؤه بواسطة SoundStorm يمكن اكتشافه بواسطة مصنفات مخصصة، مما يخفف من بعض المخاطر. يهدف البحث إلى تطوير تكنولوجيا توليد الصوت بمسؤولية.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتالويب
أبرز ملامح SoundStorm
توليد صوت غير تصاعدي فعال
ينتج صوتًا أسرع بمرتين من AudioLM
يحافظ على اتساق عالٍ في الصوت والظروف الصوتية
يولد مقاطع حوار طبيعية مع تحكم في المتحدث
يقبل الرموز الدلالية من AudioLM كمدخلات
يستخدم الانتباه ثنائي الاتجاه وفك التشفير المتوازي القائم على الثقة
قابل للتوسع لتسلسلات صوتية أطول
يدعم توليف الحوار مع التحكم في المحتوى والصوت وأدوار المتحدثين
يمكنه توليد الصوت من نماذج النص إلى دلالي
يظهر اتساقًا صوتيًا عاليًا وحفظًا للصوت في التوليد الموجه
ينتج صوتًا بجودة أعلى مقارنة بالأساليب الأساسية لفك التشفير الجشع
البدء مع SoundStorm
الوصول إلى النموذج: الحصول على الوصول إلى نموذج SoundStorm ومكوناته المرتبطة.
إعداد البيئة: تكوين البيئة البرمجية والأجهزة اللازمة لتشغيل النموذج.
إدخال الرموز الدلالية: توفير الرموز الدلالية التي تم إنشاؤها بواسطة AudioLM إلى SoundStorm.
التكامل عبر API: استخدام واجهة برمجة التطبيقات (API) للنموذج للتكامل السلس في خطوط أنابيب توليد الصوت.
توفير معلومات التكييف: تقديم النصوص، وتعليقات أدوار المتحدثين، وموجهات الصوت للتوليف المتحكم فيه.
توليد الصوت: تنفيذ عملية التوليد لإنتاج تمثيلات لترميز الصوت العصبي.
فك تشفير الصوت: تحويل التمثيلات المولدة إلى صوت مسموع باستخدام ترميز الصوت العصبي.
حالات استخدام SoundStorm
- توليف الحوار
- استنساخ الصوت
- توليد الصوت السريع
- توليف الكلام
- إنشاء المحتوى الصوتي
- أدوات الوصول
- تسريع البحث
