الوصف
Sophon-Realtime v1 هو مشروع مفتوح المصدر يركز على تطوير نماذج صوتية مزدوجة الاتجاه يمكنها إدراك والتفاعل مع نغمة صوت المستخدم أثناء التحدث بصوتها الخاص. تهدف هذه القدرة المتقدمة إلى خلق تفاعلات صوتية أكثر طبيعية وجاذبية، متجاوزةً التعرف البسيط على الكلام والتوليد إلى فهم أكثر دقة للتواصل البشري.
قراءة المزيد
يتضمن جوهر Sophon-Realtime v1 مكونات «Tag» و«Flash»، والتي تم تحسينها للعمل على وحدة معالجة رسومات واحدة باستخدام vLLM-Omni. تتيح هذه الكفاءة قدرات معالجة صوتية قوية دون الحاجة إلى موارد أجهزة واسعة. يعمل المشروع بنشاط على تطوير نماذج صوتية شاملة (E2E)، مع توفر هذه الوظيفة حاليًا في المعاينة، مما يشير إلى التقدم المستمر في خط معالجة الصوت الشامل.
تظهر المستودع تطويرًا نشطًا مع التحديثات الأخيرة عبر فروع مختلفة. يبرز فرع `finetune`، على سبيل المثال، إضافة إصدار «Expressive v1»، الذي يتضمن محركًا للتحدث المتزامن وبوابة، مما يشير إلى التركيز على تعزيز النطاق العاطفي والديناميكي للصوت المُولد. يذكر فرع `flash` استنساخ الصوت بدون عينة من مقطع مرجعي، مما يشير إلى قدرات توليد الصوت المخصص.
تم تصميم Sophon-Realtime v1 للمطورين والباحثين المهتمين بتقنيات الذكاء الاصطناعي الصوتية المتطورة. تعزز طبيعته مفتوحة المصدر التعاون وتسمح بالتخصيص والتكامل في مجموعة متنوعة من التطبيقات التي تتطلب تفاعلًا صوتيًا متقدمًا. يركز المشروع على الأداء في الوقت الحقيقي والقدرة على التعامل مع تدفقات المحادثة المعقدة، مما يجعله مناسبًا لتطبيقات مثل المساعدين الافتراضيين، وأنظمة الاستجابة الصوتية التفاعلية، وأدوات الاتصال المتقدمة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ Sophon-Realtime v1
نماذج صوتية مزدوجة الاتجاه مفتوحة
إدراك النغمة والتحدث الاستجابي
مكونات Tag وFlash
تشغيل على وحدة معالجة رسومات واحدة باستخدام vLLM-Omni
نماذج صوتية شاملة (معاينة)
إصدار Expressive v1 مع محرك التحدث المتزامن
بوابة لتوافق وضع البث المباشر
استنساخ الصوت بدون عينة من مقاطع مرجعية
حماية صارمة لتدفق الطلبات الطويلة في Tag
بوابة متوافقة مع GPT-Live لـ Tag وFlash
نموذج Sophon-Realtime-32B-E2E (فك تشفير من 4 خطوات)
البدء مع Sophon-Realtime v1
استنساخ المستودع: احصل على المشروع عن طريق استنساخ مستودع adventists-ai/sophon-realtime على GitHub.
تثبيت المتطلبات: قم بتثبيت حزم Python اللازمة والمتطلبات الأخرى باستخدام `pip install sophon-realtime`.
استكشاف الوثائق: راجع ملفات `README.md` و`README_CN.md` للحصول على تعليمات مفصلة حول الإعداد والاستخدام.
تحسين النماذج: استخدم فرع `finetune` لإضافة قدرات صوتية تعبيرية ومحركات التحدث المتزامن.
تنفيذ استنساخ الصوت: جرب استنساخ الصوت بدون عينة باستخدام مكون `flash` ومقاطع الصوت المرجعية.
نشر وضع البث المباشر: قم بإعداد بوابة متوافقة مع GPT-Live لوظائف Tag وFlash في الوقت الحقيقي.
بناء نماذج E2E: اعمل مع دليل `scripts` لبناء وتكامل نماذج شاملة مثل Sophon-Realtime-32B-E2E.
حالات استخدام Sophon-Realtime v1
- مساعدات صوتية في الوقت الحقيقي
- استجابة صوتية تفاعلية (IVR)
- توليد صوت مخصص
- سرد AI التعبيري
- أدوات الاتصال المدعومة بالذكاء الاصطناعي
- ترجمة من الكلام إلى الكلام






