تخطَّ إلى المحتوى الرئيسي
ToolPotion
مستشار الذكاء الاصطناعي
إرسال (مجاني)

Sophon-Realtime v1

يقدم Sophon-Realtime v1 نماذج صوتية مزدوجة الاتجاه مفتوحة مصممة لفهم والاستجابة لنغمة الصوت. يمكّن هذا المشروع وظائف Tag وFlash من العمل بكفاءة على وحدة معالجة رسومات واحدة باستخدام vLLM-Omni، مع قدرات شاملة متاحة حاليًا في المعاينة. يوفر تفاعلًا صوتيًا متقدمًا لمجموعة متنوعة من التطبيقات، مع التركيز على التواصل الطبيعي والاستجابة.

عرض المستودع
مشاركة
عرض المستودع
مشاركة

Sophon-Realtime v1 هو مشروع مفتوح المصدر يركز على تطوير نماذج صوتية مزدوجة الاتجاه يمكنها إدراك والتفاعل مع نغمة صوت المستخدم أثناء التحدث بصوتها الخاص. تهدف هذه القدرة المتقدمة إلى خلق تفاعلات صوتية أكثر طبيعية وجاذبية، متجاوزةً التعرف البسيط على الكلام والتوليد إلى فهم أكثر دقة للتواصل البشري.

قراءة المزيد

يتضمن جوهر Sophon-Realtime v1 مكونات «Tag» و«Flash»، والتي تم تحسينها للعمل على وحدة معالجة رسومات واحدة باستخدام vLLM-Omni. تتيح هذه الكفاءة قدرات معالجة صوتية قوية دون الحاجة إلى موارد أجهزة واسعة. يعمل المشروع بنشاط على تطوير نماذج صوتية شاملة (E2E)، مع توفر هذه الوظيفة حاليًا في المعاينة، مما يشير إلى التقدم المستمر في خط معالجة الصوت الشامل.

تظهر المستودع تطويرًا نشطًا مع التحديثات الأخيرة عبر فروع مختلفة. يبرز فرع `finetune`، على سبيل المثال، إضافة إصدار «Expressive v1»، الذي يتضمن محركًا للتحدث المتزامن وبوابة، مما يشير إلى التركيز على تعزيز النطاق العاطفي والديناميكي للصوت المُولد. يذكر فرع `flash` استنساخ الصوت بدون عينة من مقطع مرجعي، مما يشير إلى قدرات توليد الصوت المخصص.

تم تصميم Sophon-Realtime v1 للمطورين والباحثين المهتمين بتقنيات الذكاء الاصطناعي الصوتية المتطورة. تعزز طبيعته مفتوحة المصدر التعاون وتسمح بالتخصيص والتكامل في مجموعة متنوعة من التطبيقات التي تتطلب تفاعلًا صوتيًا متقدمًا. يركز المشروع على الأداء في الوقت الحقيقي والقدرة على التعامل مع تدفقات المحادثة المعقدة، مما يجعله مناسبًا لتطبيقات مثل المساعدين الافتراضيين، وأنظمة الاستجابة الصوتية التفاعلية، وأدوات الاتصال المتقدمة.

  • الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
  • نموذج التسعيرمفتوح المصدر
  • النشرسحابي
  • المنصاتالويب

  • نماذج صوتية مزدوجة الاتجاه مفتوحة

  • إدراك النغمة والتحدث الاستجابي

  • مكونات Tag وFlash

  • تشغيل على وحدة معالجة رسومات واحدة باستخدام vLLM-Omni

  • نماذج صوتية شاملة (معاينة)

  • إصدار Expressive v1 مع محرك التحدث المتزامن

  • بوابة لتوافق وضع البث المباشر

  • استنساخ الصوت بدون عينة من مقاطع مرجعية

  • حماية صارمة لتدفق الطلبات الطويلة في Tag

  • بوابة متوافقة مع GPT-Live لـ Tag وFlash

  • نموذج Sophon-Realtime-32B-E2E (فك تشفير من 4 خطوات)

  1. استنساخ المستودع: احصل على المشروع عن طريق استنساخ مستودع adventists-ai/sophon-realtime على GitHub.

  2. تثبيت المتطلبات: قم بتثبيت حزم Python اللازمة والمتطلبات الأخرى باستخدام `pip install sophon-realtime`.

  3. استكشاف الوثائق: راجع ملفات `README.md` و`README_CN.md` للحصول على تعليمات مفصلة حول الإعداد والاستخدام.

  4. تحسين النماذج: استخدم فرع `finetune` لإضافة قدرات صوتية تعبيرية ومحركات التحدث المتزامن.

  5. تنفيذ استنساخ الصوت: جرب استنساخ الصوت بدون عينة باستخدام مكون `flash` ومقاطع الصوت المرجعية.

  6. نشر وضع البث المباشر: قم بإعداد بوابة متوافقة مع GPT-Live لوظائف Tag وFlash في الوقت الحقيقي.

  7. بناء نماذج E2E: اعمل مع دليل `scripts` لبناء وتكامل نماذج شاملة مثل Sophon-Realtime-32B-E2E.

  • مساعدات صوتية في الوقت الحقيقي
  • استجابة صوتية تفاعلية (IVR)
  • توليد صوت مخصص
  • سرد AI التعبيري
  • أدوات الاتصال المدعومة بالذكاء الاصطناعي
  • ترجمة من الكلام إلى الكلام

تقييمات Sophon-Realtime v1

جاري التحميل...

أدوات ذكاء اصطناعي شائعة مثل Sophon-Realtime v1

Open-LLM-VTuber

مستودعات GitHub للذكاء الاصطناعي

Open-LLM-VTuber يتيح التفاعل الصوتي بدون استخدام اليدين مع أي نموذج لغوي كبير (LLM)، ويتميز بإمكانية انقطاع الصوت وصورة رمزية Live2D. يعمل محليًا عبر المنصات.

شخصيات الذكاء الاصطناعي وتقمّص الأدوار

المرتبة 19 في شخصيات الذكاء الاصطناعي وتقمّص الأدوار

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

يتيح التفاعل الصوتي بدون استخدام اليدين مع أي نموذج لغوي كبير (LLM)، ويتميز بإمكانية انقطاع الصوت وصورة رمزية Live2D. يعمل محليًا عبر المنصات.Open-LLM-VTuber يتيح التفاعل الصوتي بدون استخدام اليدين مع أي نموذج لغوي كبير (LLM)، ويتميز بإمكانية انقطاع الصوت وصورة رمزية Live2D. يعمل محليًا عبر المنصات.

شخصيات الذكاء الاصطناعي وتقمّص الأدوار
المرتبة 19 في شخصيات الذكاء الاصطناعي وتقمّص الأدوار

ESPnet

مستودعات GitHub للذكاء الاصطناعي

ESPnet هو مجموعة أدوات مفتوحة المصدر لمعالجة الكلام من طرف إلى طرف. يوفر وصفات وأدوات شاملة لمهام مثل التعرف التلقائي على الكلام (ASR)، وتحويل النص إلى كلام (TTS)، وتحسين الكلام.…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مجموعة أدوات مفتوحة المصدر لمعالجة الكلام من طرف إلى طرف. يوفر وصفات وأدوات شاملة لمهام مثل التعرف التلقائي على الكلام (ASR)، وتحويل النص إلى كلام (TTS)، وتحسين الكلام.…ESPnet هو مجموعة أدوات مفتوحة المصدر لمعالجة الكلام من طرف إلى طرف. يوفر وصفات وأدوات شاملة لمهام مثل التعرف التلقائي على الكلام (ASR)، وتحويل النص إلى كلام (TTS)، وتحسين الكلام.…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

VibeVoice

مستودعات GitHub للذكاء الاصطناعي

VibeVoice هو مشروع ذكاء اصطناعي صوتي مفتوح المصدر تم تطويره بواسطة Microsoft، ومتوفر على GitHub. يوفر قدرات متقدمة للذكاء الاصطناعي الصوتي، بما في ذلك استنتاج ASR المتدفق والبيئات…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع ذكاء اصطناعي صوتي مفتوح المصدر تم تطويره بواسطة Microsoft، ومتوفر على GitHub. يوفر قدرات متقدمة للذكاء الاصطناعي الصوتي، بما في ذلك استنتاج ASR المتدفق والبيئات…VibeVoice هو مشروع ذكاء اصطناعي صوتي مفتوح المصدر تم تطويره بواسطة Microsoft، ومتوفر على GitHub. يوفر قدرات متقدمة للذكاء الاصطناعي الصوتي، بما في ذلك استنتاج ASR المتدفق والبيئات…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

Voicebox

مستودعات GitHub للذكاء الاصطناعي

Voicebox هو استوديو صوتي مفتوح المصدر يعتمد على الذكاء الاصطناعي يتيح للمستخدمين استنساخ الأصوات، وإملاء النصوص، وإنشاء مشاريع صوتية. يوفر منصة لتوليد الصوت ومعالجته، مما يجعله…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

استوديو صوتي مفتوح المصدر يعتمد على الذكاء الاصطناعي يتيح للمستخدمين استنساخ الأصوات، وإملاء النصوص، وإنشاء مشاريع صوتية. يوفر منصة لتوليد الصوت ومعالجته، مما يجعله…Voicebox هو استوديو صوتي مفتوح المصدر يعتمد على الذكاء الاصطناعي يتيح للمستخدمين استنساخ الأصوات، وإملاء النصوص، وإنشاء مشاريع صوتية. يوفر منصة لتوليد الصوت ومعالجته، مما يجعله…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

SGLang-Omni

مستودعات GitHub للذكاء الاصطناعي

SGLang-Omni هو إطار عمل عالي الأداء مصمم لنماذج الصوت مثل تحويل النص إلى كلام (TTS) والتعرف التلقائي على الكلام (ASR)، بالإضافة إلى النماذج متعددة الوسائط الموحدة. يوفر دعمًا…

MLOps ونشر النماذج

المرتبة 78 في مولّدات الأصوات بالذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

إطار عمل عالي الأداء مصمم لنماذج الصوت مثل تحويل النص إلى كلام (TTS) والتعرف التلقائي على الكلام (ASR)، بالإضافة إلى النماذج متعددة الوسائط الموحدة. يوفر دعمًا…SGLang-Omni هو إطار عمل عالي الأداء مصمم لنماذج الصوت مثل تحويل النص إلى كلام (TTS) والتعرف التلقائي على الكلام (ASR)، بالإضافة إلى النماذج متعددة الوسائط الموحدة. يوفر دعمًا…

MLOps ونشر النماذج
المرتبة 78 في مولّدات الأصوات بالذكاء الاصطناعي

NVIDIA NemotronLabs VoiceChat

نماذج الذكاء الاصطناعي

NVIDIA NemotronLabs VoiceChat هو نموذج صوتي مزدوج الاتجاه في الوقت الحقيقي للذكاء الاصطناعي المحادثاتي. يدمج فهم الكلام وتوليده في بنية واحدة، مما يقلل من زمن الاستجابة ويعزز تدفق…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض الأداة

نماذج الذكاء الاصطناعي

نموذج صوتي مزدوج الاتجاه في الوقت الحقيقي للذكاء الاصطناعي المحادثاتي. يدمج فهم الكلام وتوليده في بنية واحدة، مما يقلل من زمن الاستجابة ويعزز تدفق…NVIDIA NemotronLabs VoiceChat هو نموذج صوتي مزدوج الاتجاه في الوقت الحقيقي للذكاء الاصطناعي المحادثاتي. يدمج فهم الكلام وتوليده في بنية واحدة، مما يقلل من زمن الاستجابة ويعزز تدفق…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض أفضل 5 من نماذج الذكاء الاصطناعي

GPT-SoVITS - نموذج استنساخ الصوت

مستودعات GitHub للذكاء الاصطناعي

GPT-SoVITS هو نموذج لاستنساخ الصوت يمكّن المستخدمين من إنشاء مخرجات عالية الجودة من النص إلى الكلام (TTS) باستخدام دقيقة واحدة فقط من بيانات الصوت. يعتمد على تقنيات التعلم القليل…

مولّدات الأصوات بالذكاء الاصطناعي

المرتبة 134 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

نموذج لاستنساخ الصوت يمكّن المستخدمين من إنشاء مخرجات عالية الجودة من النص إلى الكلام (TTS) باستخدام دقيقة واحدة فقط من بيانات الصوت. يعتمد على تقنيات التعلم القليل…GPT-SoVITS هو نموذج لاستنساخ الصوت يمكّن المستخدمين من إنشاء مخرجات عالية الجودة من النص إلى الكلام (TTS) باستخدام دقيقة واحدة فقط من بيانات الصوت. يعتمد على تقنيات التعلم القليل…

مميزةمولّدات الأصوات بالذكاء الاصطناعي
المرتبة 134 في مستودعات GitHub للذكاء الاصطناعي

Chatterbox Turbo

نماذج الذكاء الاصطناعي

Chatterbox Turbo هو نموذج تحويل النص إلى كلام مفتوح المصدر من Resemble AI، يقدم أداءً فائق السرعة مع 350 مليون معلمة وزمن استجابة يبلغ 75 مللي ثانية. يتميز باستنساخ الصوت من 5…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض الأداة

نماذج الذكاء الاصطناعي

نموذج تحويل النص إلى كلام مفتوح المصدر من Resemble AI، يقدم أداءً فائق السرعة مع 350 مليون معلمة وزمن استجابة يبلغ 75 مللي ثانية. يتميز باستنساخ الصوت من 5…Chatterbox Turbo هو نموذج تحويل النص إلى كلام مفتوح المصدر من Resemble AI، يقدم أداءً فائق السرعة مع 350 مليون معلمة وزمن استجابة يبلغ 75 مللي ثانية. يتميز باستنساخ الصوت من 5…

نماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
عرض أفضل 5 من نماذج الذكاء الاصطناعي
1 من 8