الوصف
IndexTTS-2.5 هو نموذج متقدم لتحويل النص إلى كلام تم تطويره بواسطة IndexTeam وBilibili. تم تصميمه لاستنساخ الأصوات من مقطع صوتي مرجعي واحد، مما يجعله أداة قوية لتوليد الصوت. يدعم النموذج عدة لغات، بما في ذلك الصينية والإنجليزية واليابانية والإسبانية والعربية، مما يسمح بنقل الصوت عبر اللغات. واحدة من ميزاته الرئيسية هي التحكم في العواطف، الذي يتم فصله عن النغمة، مما يوفر للمستخدمين القدرة على تعديل النغمة العاطفية للكلام المُولد.
قراءة المزيد
بالمقارنة مع سلفه، IndexTTS-2، يقدم هذا الإصدار دعمًا للغات إضافية مثل اليابانية والإسبانية والعربية. كما أنه يوفر أوقات استدلال أسرع وتحكمًا محسّنًا في الأصوات الصينية (Pinyin) والفونيمات الإنجليزية (CMU) والكانا اليابانية. يعمل النموذج على هيكلية GPT ويستخدم مُفكك الكلام إلى ميل (speech-to-mel) متطابق مع التدفق، بالإضافة إلى مُفكك الصوت BigVGAN، مع حوالي 0.8 مليار معلمة.
يخرج IndexTTS-2.5 موجة صوتية بتردد 22.05 كيلو هرتز ويتطلب Python 3.10–3.11، وGPU من NVIDIA، وحوالي 6 جيجابايت من VRAM للاستدلال. يحتاج المستخدمون إلى تنزيل أوزان النموذج، ويتم تنزيل النماذج المساعدة في نقاط التفتيش عند التشغيل الأول. تشمل قيود النموذج الحاجة إلى تقسيم النصوص الطويلة، مما يؤثر على الإيقاع عبر حدود المقاطع، ومتطلبات مسؤولية المستخدم في الحصول على موافقة لاستنساخ الصوت.
النموذج مرخص بموجب اتفاقية ترخيص استخدام نموذج bilibili، ومخزونه متاح على GitHub. مع ما يقرب من 15,000 تنزيل في الشهر الماضي، يعد IndexTTS-2.5 خيارًا شائعًا للمطورين والباحثين المهتمين بقدرات تحويل النص إلى كلام المتقدمة.
- الفئةتحويل النص إلى كلام
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح IndexTTS-2.5
استنساخ الصوت بدون تدريب مسبق
يدعم الصينية والإنجليزية واليابانية والإسبانية والعربية
نقل صوتي عبر اللغات
تحكم في العواطف مفصول عن النغمة
أوقات استدلال أسرع
تحكم محسّن في الفونيمات
موجة صوتية بتردد 22.05 كيلو هرتز
تحويل النص إلى كلام ذاتي التكرار مع هيكلية GPT
البدء مع IndexTTS-2.5
الوصول إلى النموذج: زيارة صفحة Hugging Face
المصادقة: إعداد بيانات الاعتماد للوصول
إعداد البيئة: تثبيت Python 3.10–3.11 والمكتبات المطلوبة
التكامل عبر API: استخدام API المقدم للتكامل
تحسين: ضبط المعلمات للحصول على الناتج المطلوب
حالات استخدام IndexTTS-2.5
- استنساخ الصوت
- توليد متعدد اللغات
- تحكم في العواطف
- نقل عبر اللغات
- تحكم في الفونيمات
