الوصف
NVIDIA Model-Optimizer هي مكتبة شاملة مفتوحة المصدر تم تطويرها بواسطة NVIDIA، مخصصة لتعزيز كفاءة وأداء نماذج التعلم العميق. توفر مجموعة موحدة من تقنيات التحسين المتقدمة، تهدف إلى ضغط وتسريع النماذج لتحقيق استدلال أسرع في إطارات النشر السفلية.
قراءة المزيد
تدمج المكتبة مجموعة متنوعة من الأساليب المتطورة، بما في ذلك التكميم، الذي يقلل من دقة أوزان النموذج وتنشيطاته لتقليل حجم الذاكرة وتكاليف الحساب؛ والتقطير، حيث يتعلم نموذج أصغر وأكثر كفاءة من نموذج أكبر وأكثر تعقيدًا؛ والتقليم، الذي يزيل الاتصالات أو الخلايا العصبية الزائدة من الشبكة العصبية. بالإضافة إلى ذلك، تدعم البحث في بنية الشبكات العصبية (NAS) لاكتشاف بنى نماذج مثالية تلقائيًا وفك التشفير التخميني لتسريع الاستدلال.
الهدف الرئيسي من Model-Optimizer هو إعداد نماذج التعلم العميق للنشر بكفاءة. تستهدف بشكل خاص إطارات مثل TensorRT-LLM وTensorRT وvLLM، التي تُستخدم على نطاق واسع للاستدلال عالي الأداء. من خلال تطبيق هذه التقنيات التحسينية، تقلل المكتبة بشكل كبير من الموارد الحسابية والوقت المطلوب لاستدلال النموذج، مما يجعلها مناسبة للتطبيقات في الوقت الحقيقي والبيئات ذات الموارد المحدودة.
تعمل هذه المستودع على GitHub كمركز رئيسي للمطورين والباحثين للوصول إلى هذه الأدوات التحسينية والمساهمة فيها واستخدامها. يتضمن أمثلة، وثائق، وقاعدة شفرة منظمة لتسهيل التكامل في سير العمل الحالي للتعلم العميق. يتم صيانة المشروع بنشاط بواسطة NVIDIA، مع تحديثات منتظمة ومساهمات من مجتمع المطورين، مما يضمن بقائه في طليعة أبحاث وممارسات تحسين النماذج.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ NVIDIA Model-Optimizer
مكتبة موحدة لتقنيات تحسين النماذج
التكميم لتقليل دقة النموذج
التقطير لنقل المعرفة إلى نماذج أصغر
التقليم لإزالة مكونات الشبكة الزائدة
البحث في بنية الشبكات العصبية (NAS) للتصميم الأمثل
فك التشفير التخميني لتسريع الاستدلال
ضغط نماذج التعلم العميق
تحسين سرعة الاستدلال
دعم إطار نشر TensorRT-LLM
دعم إطار نشر TensorRT
دعم إطار نشر vLLM
تطوير نشط ومساهمات من المجتمع
وثائق شاملة وأمثلة
تكامل مع مجموعة متنوعة من سير العمل في التعلم العميق
توفر مفتوح المصدر على GitHub
البدء مع NVIDIA Model-Optimizer
استنساخ المستودع: احصل على قاعدة شفرة Model-Optimizer عن طريق استنساخ مستودع GitHub إلى جهازك المحلي.
تثبيت التبعيات: قم بإعداد بيئة Python المطلوبة وتثبيت جميع التبعيات اللازمة كما هو موضح في وثائق المشروع.
استكشاف الأمثلة: راجع الأمثلة المقدمة لفهم كيفية تطبيق تقنيات التحسين المختلفة على نماذج متنوعة.
اختيار تقنية التحسين: اختر تقنية تحسين النموذج المناسبة (مثل التكميم، أو التقليم) بناءً على نموذجك ومتطلبات النشر.
تطبيق التحسين: دمج تقنية التحسين المختارة في تدريب نموذج التعلم العميق أو خط أنابيب ما بعد التدريب.
نشر النموذج المحسن: تصدير النموذج المحسن للنشر باستخدام الإطارات المدعومة مثل TensorRT-LLM أو TensorRT أو vLLM.
تقييم الأداء: قياس سرعة الاستدلال ودقة النموذج المحسن لضمان تحقيق مكاسب الأداء المطلوبة.
حالات استخدام NVIDIA Model-Optimizer
- تسريع استدلال LLM
- نشر على أجهزة الحافة
- تطبيقات الذكاء الاصطناعي في الوقت الحقيقي
- تقليل تكاليف استدلال السحابة
- البحث في بنية الشبكات العصبية
- تكميم النموذج
- تقطير المعرفة






