الوصف
Sarvam-Prism هو نموذج قرار متخصص تم تطويره بواسطة Sarvam، مستفيدًا من العمود الفقري القوي Sarvam-105B. وظيفته الأساسية هي تصنيف النصوص، حيث يقوم بمعالجة سياق معين وسؤال واحد أو أكثر، كل منها مصحوب بمجموعة ثابتة من الإجابات الممكنة. على عكس نماذج الذكاء الاصطناعي التوليدية، لا يقوم Sarvam-Prism بإنشاء نص جديد؛ بل يقوم بتعيين احتمال لكل خيار إجابة محدد مسبقًا في تمريرة واحدة للأمام، مما يضمن أن الناتج هو دائمًا أحد الخيارات المقدمة.
قراءة المزيد
هذا النموذج مناسب بشكل خاص للتطبيقات التي تتطلب اتخاذ قرارات دقيقة ومقيدة بدلاً من إنشاء نص مفتوح. يعمل عن طريق تحويل كل سؤال إلى تسلسل يتضمن الحالة، التعليمات، وكل خيار، متبوعًا بعلامة الإجابة. ثم تقرأ رأس القرار الصغيرة الحالة المخفية في نهاية كل خيار وعند علامة الإجابة لإنتاج احتمالات لكل خيار. تشمل بنية النموذج تعديلات محددة على قناع الانتباه ونوى FP8 لتحقيق استدلال فعال.
Sarvam-Prism متاح للتنزيل ويمكن تشغيله على Hugging Face، مع متطلبات الأجهزة المحددة بما في ذلك وحدة معالجة الرسوميات NVIDIA مع دعم FP8 وحوالي 120 جيجابايت من الذاكرة الحرة (مثل B200 أو H200). كما يتطلب Python 3.10+ ومترجم C. بالنسبة لأولئك الذين ليس لديهم الأجهزة اللازمة، يتم أيضًا تقديم Sarvam-Prism كواجهة برمجة تطبيقات مستضافة من Sarvam، مما يلغي الحاجة إلى موارد GPU محلية.
تم تحسين أداء النموذج للسرعة، حيث يحقق متوسط 44 مللي ثانية لكل طلب على NVIDIA B200، كما تم قياسه على معيار Decision Index العام. يدعم تنسيقات طلبات متنوعة، بما في ذلك أنواع 'choice' و 'yes_no' و 'score'، مما يسمح بتصميم أسئلة مرنة. يتم تقييم جميع الأسئلة ضمن الطلب معًا في دفعات، حيث يتم تقييم كل سؤال بشكل مستقل. حد السياق محدد عند 131072 رمزًا لكل سؤال، مما يستوعب إدخالًا واسعًا.
تُخزن الأوزان في تخطيط FP8 مخصص، مما يجعلها غير متوافقة مع خوادم الاستدلال العامة أو النماذج القياسية مثل AutoModelForCausalLM. يتم توفير كود الاستدلال للنموذج، بما في ذلك ترميز الإدخال، قناع الانتباه، رأس القرار، ونوى FP8، ضمن ملف `prism.py`. تم إصدار Sarvam-Prism بموجب ترخيص Apache 2.0، مما يجعله متاحًا لمجموعة واسعة من التطبيقات.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرفريميوم
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
أبرز ملامح Sarvam-Prism
نموذج قرار لتصنيف النصوص
مبني على العمود الفقري Sarvam-105B
يعيد احتمالًا للإجابات المحددة مسبقًا
لا ينشئ نصًا، بل يختار فقط من الخيارات
متاح للتنزيل على Hugging Face
واجهة برمجة تطبيقات مستضافة متاحة من Sarvam (لا حاجة لـ GPU)
يتطلب وحدة معالجة الرسوميات NVIDIA مع دعم FP8 (مثل B200/H200)
يتطلب Python 3.10+ ومترجم C
محسن للسرعة بمتوسط 44 مللي ثانية لكل طلب
يدعم أنواع الأسئلة 'choice' و 'yes_no' و 'score'
يعالج الأسئلة في دفعات
حد السياق 131072 رمزًا لكل سؤال
تُخزن الأوزان في تخطيط FP8 مخصص
يتم توفير كود الاستدلال في `prism.py`
مرخص بموجب Apache 2.0
البدء مع Sarvam-Prism
تنزيل النموذج والكود: احصل على نموذج Sarvam-Prism والكود المرتبط من مستودع Hugging Face الخاص به.
تثبيت المتطلبات: قم بإعداد بيئة Python 3.10+ المطلوبة وتثبيت جميع المتطلبات اللازمة.
تحضير الأجهزة: تأكد من أن لديك وحدة معالجة الرسوميات NVIDIA مع دعم FP8 و120 جيجابايت على الأقل من الذاكرة الحرة، مثل B200 أو H200.
تحميل النموذج: استخدم `Prism.from_pretrained("sarvamai/prism")` أو قم بتحميل النموذج باستخدام `prism.py` كما هو موضح.
تنسيق الطلب: هيكل إدخالك مع `state` (السياق) و`questions` (خريطة أسماء الأسئلة إلى كائنات الأسئلة)، مع تحديد `type` و`instructions` و`criteria`.
تشغيل الاستدلال: نفذ النموذج مع طلبك المنسق للحصول على احتمالات لكل خيار إجابة.
الوصول إلى واجهة برمجة التطبيقات (اختياري): استخدم واجهة برمجة التطبيقات المستضافة من Sarvam إذا كانت موارد GPU المحلية غير متاحة، مع اتباع وثائق واجهة برمجة التطبيقات.
حالات استخدام Sarvam-Prism
- اتخاذ القرار المنظم
- تصنيف النصوص
- تحليل الاستطلاعات
- الإجابة على الأسئلة
- تقييم المشاعر
- التحقق من الامتثال
- إدارة المحتوى
