الوصف
MiDashengLM-Spatial هو نموذج لغة صوتية مفتوح المصدر مبتكر يجمع بشكل فريد بين الفهم العام للصوت والوعي المكاني. يوسع قدرات MiDashengLM من خلال دمج مشفر Spatial-Dasheng عبر وحدة شرطية هرمية من الدلالات إلى الفضاء (HSSC). يسمح هذا الدمج للنموذج بالتقاط ودمج المعلومات الصوتية الدلالية والمكانية بفعالية، مما يمكّن من إدراك ثنائي الأذن متقدم وفهم الصوت المكاني.
قراءة المزيد
يدعم هيكل النموذج الفهم العام الموحد للصوت والوعي المكاني ضمن إطار عمل واحد. يقوم مشفر Spatial-Dasheng بالكشف عن الأحداث الصوتية وتحديد مواقعها على مستوى الإطار، مما يعزز قدرة النموذج على إدراك مشاهد الصوت المكاني. تنقل آلية HSSC تمثيلات دلالية وسيطة من الفرع الدلالي إلى الفرع المكاني بشكل هرمي، مما يسمح لنمذجة الفضاء بالاستفادة من السياق الدلالي مع الحفاظ على الفصل الوظيفي.
يتميز MiDashengLM-Spatial أيضًا بتوليد مشاهد مكانية قابلة للتوسع، حيث يقوم بإنشاء مجموعة بيانات ضخمة تضم مليون مشهد صوتي مكاني، والتي تشمل الأصوات البيئية والكلام والموسيقى، بالإضافة إلى أوصاف غنية على مستوى المشهد و6 ملايين زوج من الأسئلة والأجوبة التي تم التحقق منها. تدعم هذه المجموعة الواسعة من البيانات الوعي المكاني القوي والتعميم من المحاكاة إلى الواقع، كما يتضح من التجارب الواسعة.
تشمل قدرات النموذج تحديد مصدر الصوت، وإدراك مسار الحركة، والعلاقات الزمانية المكانية على مستوى المجموعة، وفهم المحتوى المرتبط بالمكان، وتسمية الصوت المكاني، ونقل الكلام المكاني. تجعل هذه الميزات MiDashengLM-Spatial أداة متعددة الاستخدامات للتطبيقات التي تتطلب معالجة صوتية ومكانية متقدمة.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح MiDashengLM-Spatial
فهم عام موحد للصوت والوعي المكاني
مشفر Spatial-Dasheng لتحديد مواقع الأحداث الصوتية
شرطية هرمية من الدلالات إلى الفضاء (HSSC)
توليد مشاهد مكانية قابلة للتوسع مع 1 مليون مشهد
وعي مكاني قوي وتعميم من المحاكاة إلى الواقع
تحديد مصدر الصوت في التسجيلات الثنائية الأذن
فهم المحتوى المرتبط بالمكان
البدء مع MiDashengLM-Spatial
تكوين: إعداد النموذج مع مدخلات الصوت المرغوبة
استخدام: معالجة بيانات الصوت لتحليل المعلومات المكانية والدلالية
تحسين: ضبط المعلمات لبيئات الصوت المحددة
تقييم: اختبار أداء النموذج مع مجموعات بيانات الصوت المكاني
حالات استخدام MiDashengLM-Spatial
- تحليل الصوت
- معالجة الصوت المكاني
- الإدراك الثنائي الأذن
- تحديد مواقع الصوت
- فهم المشهد





