الوصف
NVIDIA NemotronLabs VoiceChat هو نموذج متقدم للذكاء الاصطناعي مصمم للتفاعلات المحادثاتية في الوقت الحقيقي. إنه نموذج صوتي مزدوج الاتجاه يدمج فهم الكلام وتوليده في بنية واحدة. هذا النموذج يلغي الحاجة إلى نماذج متعددة أو نقل واجهات برمجة التطبيقات، مما يقلل بشكل كبير من زمن الاستجابة الشامل ويعزز التدفق الطبيعي للمحادثات.
قراءة المزيد
يعمل النموذج على إشارات الصوت، التي يتم ترميزها باستخدام وحدة كونفورمر سريعة. ثم تتم معالجة هذه الرموز الصوتية بواسطة العمود الفقري لنموذج Nemotron Nano V2 9B LLM لتوقع رموز النص، والتي يتم تغذيتها بعد ذلك إلى وحدة فك تشفير TTS لتوليد كلام الوكيل. يتم استخدام قناة إخراج منفصلة لتوقع نصوص استدعاء الأدوات، مما يجعله أول نموذج مزدوج الاتجاه مفتوح يدعم استدعاء الأدوات مع الحفاظ على تدفق المحادثة الطبيعي.
NVIDIA NemotronLabs VoiceChat مفيد بشكل خاص للباحثين والمطورين والمحترفين في مجالات معالجة اللغة الطبيعية وتقنية الكلام. إنه مناسب لتطبيقات مثل التعرف التلقائي على الكلام، وتوليد الكلام من النص، وتطوير المساعدين الصوتيين. تم تحسين النموذج للعمل على أنظمة معززة بواسطة وحدات معالجة الرسوميات من NVIDIA، مستفيدًا من أطر العمل الخاصة بـ NVIDIA لتحقيق أوقات تدريب واستدلال أسرع.
بنية النموذج هي هجين من Mamba/Transformer مع 11 مليار معلمة، مما يوفر توازنًا ملحوظًا بين الذكاء وزمن الاستجابة. يدعم النشر العالمي ويخضع لاتفاقية ترخيص OpenMDW، الإصدار 1.1. تم إصدار النموذج في 3 أغسطس 2026، وتم تدريبه على مجموعة متنوعة من مجموعات البيانات، بما في ذلك بيانات الكلام الحقيقية والصناعية.
تسلط نتائج القياس الضوء على قدراته، حيث حقق النموذج المركز الثاني بين النماذج المزدوجة الاتجاه المفتوحة على VoiceBench وFull-Duplex-Bench 1.0. كما يتفوق في دقة اختيار الأدوات على Full-Duplex-Bench v3. على الرغم من قدراته المتقدمة، يجب أن يكون المستخدمون على دراية بالقيود المعروفة التي تم تحديدها من خلال اختبارات داخلية شاملة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- النشرسحابي
- المنصاتLinux
أبرز ملامح NVIDIA NemotronLabs VoiceChat
نموذج صوتي مزدوج الاتجاه في الوقت الحقيقي
فهم الكلام وتوليده مدمجان
بنية واحدة تقلل من زمن الاستجابة
يدعم استدعاء الأدوات مع تدفق طبيعي
محسن لأنظمة GPU من NVIDIA
11 مليار معلمة
بنية هجينة من Mamba/Transformer
دعم النشر العالمي
البدء مع NVIDIA NemotronLabs VoiceChat
الوصول إلى النموذج: زيارة صفحة Hugging Face
المصادقة: استخدام مفتاح API
إعداد البيئة: تكوين GPU من NVIDIA
التكامل عبر API: استخدام واجهة WebSocket
تحسين: الاستفادة من مكتبات CUDA
حالات استخدام NVIDIA NemotronLabs VoiceChat
- التعرف على الكلام
- المساعدين الصوتيين
- توليد الكلام من النص
- استدعاء الأدوات
- التفاعل في الوقت الحقيقي
