الوصف
HRM-Text-1B هو نموذج لغوي متطور تم تطويره بواسطة Sapient Intelligence، ويتميز ببنية تحتوي على مليار معلمة. يعتمد على بنية نموذج التفكير الهرمي (HRM)، الذي يستخدم تصميمًا متكررًا ذو زمن مزدوج. يدمج هذا التصميم بين وحدتين من Transformer، عالية المستوى ومنخفضة المستوى، لمعالجة تضمينات الإدخال عبر دورات متعددة، مما يسمح بعمق حساب غير محدود مع الحفاظ على عدد معلمات محدود.
قراءة المزيد
تم تدريب النموذج مسبقًا على هدف PrefixLM مع رموز بادئة شرطية، مما يجعله مناسبًا لمجموعة متنوعة من مهام معالجة اللغة الطبيعية مثل التصنيف والاستخراج والإخراج المنظم. ومع ذلك، من المهم ملاحظة أن HRM-Text-1B هو نقطة تفتيش لنموذج ما قبل المحاذاة وليس مُحسّنًا لمهام الدردشة أو اتباع التعليمات. يحتاج المستخدمون المهتمون بمثل هذه التطبيقات إلى إجراء مزيد من المحاذاة، مثل التخصيص الخاضع للإشراف (SFT) أو التعلم المعزز (RL)، على بيانات محددة للمهام.
يدعم HRM-Text-1B مجموعة من تقنيات التحفيز، بما في ذلك الشرط المباشر مع أمثلة قليلة للمهام المتعلقة بمعالجة اللغة الطبيعية والشرط المركب لمهام التفكير والرياضيات. تشمل بنية النموذج ميزات مثل الانتباه المقيد، وترميز موضع RoPE، وتنشيط SwiGLU، مما يضمن أداءً قويًا عبر المهام.
بينما تم تدريب النموذج بشكل أساسي على مجموعات نصية باللغة الإنجليزية، فقد أظهر إمكانيات للتكيف في مهام البرمجة من خلال تجارب طرف ثالث. ومع ذلك، يجب أن يكون المستخدمون على دراية بحدوده، بما في ذلك التحيزات المحتملة وعدم الدقة في المخرجات. HRM-Text-1B مفتوح المصدر بموجب رخصة Apache 2.0، مما يشجع على مزيد من البحث والتطوير.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح HRM-Text-1B
مليار معلمة
بنية نموذج التفكير الهرمي
تصميم متكرر ذو زمن مزدوج
تدريب مسبق على هدف PrefixLM
آلية الانتباه المقيد
ترميز موضع RoPE
تنشيط SwiGLU
مفتوح المصدر بموجب رخصة Apache 2.0
البدء مع HRM-Text-1B
الوصول إلى صفحة النموذج: زيارة صفحة نموذج HRM-Text-1B على Hugging Face.
المصادقة: تسجيل الدخول إلى حسابك على Hugging Face.
التكوين: إعداد النموذج مع إصدار المحولات المطلوب.
إرسال التحفيزات: استخدام تقنيات التحفيز المناسبة لمهامك.
التخصيص: إجراء مزيد من المحاذاة للتطبيقات المحددة.
حالات استخدام HRM-Text-1B
- تصنيف معالجة اللغة الطبيعية
- استخراج البيانات
- مهام التفكير
- أسئلة وأجوبة قصيرة
- توليد مفتوح النهاية
