تخطَّ إلى المحتوى الرئيسي
ToolPotion
مستشار الذكاء الاصطناعي
إرسال (مجاني)

NVIDIA Model-Optimizer

NVIDIA Model-Optimizer هي مكتبة موحدة تقدم تقنيات متطورة لتحسين نماذج التعلم العميق. تشمل الأساليب مثل التكميم، والتقطير، والتقليم، والبحث في بنية الشبكات العصبية لضغط النماذج. تم تصميم المكتبة لتعزيز سرعة الاستدلال لإطارات النشر مثل TensorRT-LLM وTensorRT وvLLM، مما يجعل نماذج التعلم العميق أكثر كفاءة لمجموعة متنوعة من التطبيقات.

عرض المستودع
مشاركة
عرض المستودع
مشاركة

NVIDIA Model-Optimizer هي مكتبة شاملة مفتوحة المصدر تم تطويرها بواسطة NVIDIA، مخصصة لتعزيز كفاءة وأداء نماذج التعلم العميق. توفر مجموعة موحدة من تقنيات التحسين المتقدمة، تهدف إلى ضغط وتسريع النماذج لتحقيق استدلال أسرع في إطارات النشر السفلية.

قراءة المزيد

تدمج المكتبة مجموعة متنوعة من الأساليب المتطورة، بما في ذلك التكميم، الذي يقلل من دقة أوزان النموذج وتنشيطاته لتقليل حجم الذاكرة وتكاليف الحساب؛ والتقطير، حيث يتعلم نموذج أصغر وأكثر كفاءة من نموذج أكبر وأكثر تعقيدًا؛ والتقليم، الذي يزيل الاتصالات أو الخلايا العصبية الزائدة من الشبكة العصبية. بالإضافة إلى ذلك، تدعم البحث في بنية الشبكات العصبية (NAS) لاكتشاف بنى نماذج مثالية تلقائيًا وفك التشفير التخميني لتسريع الاستدلال.

الهدف الرئيسي من Model-Optimizer هو إعداد نماذج التعلم العميق للنشر بكفاءة. تستهدف بشكل خاص إطارات مثل TensorRT-LLM وTensorRT وvLLM، التي تُستخدم على نطاق واسع للاستدلال عالي الأداء. من خلال تطبيق هذه التقنيات التحسينية، تقلل المكتبة بشكل كبير من الموارد الحسابية والوقت المطلوب لاستدلال النموذج، مما يجعلها مناسبة للتطبيقات في الوقت الحقيقي والبيئات ذات الموارد المحدودة.

تعمل هذه المستودع على GitHub كمركز رئيسي للمطورين والباحثين للوصول إلى هذه الأدوات التحسينية والمساهمة فيها واستخدامها. يتضمن أمثلة، وثائق، وقاعدة شفرة منظمة لتسهيل التكامل في سير العمل الحالي للتعلم العميق. يتم صيانة المشروع بنشاط بواسطة NVIDIA، مع تحديثات منتظمة ومساهمات من مجتمع المطورين، مما يضمن بقائه في طليعة أبحاث وممارسات تحسين النماذج.

  • الفئةMLOps ونشر النماذج
  • نموذج التسعيرمفتوح المصدر
  • النشرسحابي
  • المنصاتالويب

  • مكتبة موحدة لتقنيات تحسين النماذج

  • التكميم لتقليل دقة النموذج

  • التقطير لنقل المعرفة إلى نماذج أصغر

  • التقليم لإزالة مكونات الشبكة الزائدة

  • البحث في بنية الشبكات العصبية (NAS) للتصميم الأمثل

  • فك التشفير التخميني لتسريع الاستدلال

  • ضغط نماذج التعلم العميق

  • تحسين سرعة الاستدلال

  • دعم إطار نشر TensorRT-LLM

  • دعم إطار نشر TensorRT

  • دعم إطار نشر vLLM

  • تطوير نشط ومساهمات من المجتمع

  • وثائق شاملة وأمثلة

  • تكامل مع مجموعة متنوعة من سير العمل في التعلم العميق

  • توفر مفتوح المصدر على GitHub

  1. استنساخ المستودع: احصل على قاعدة شفرة Model-Optimizer عن طريق استنساخ مستودع GitHub إلى جهازك المحلي.

  2. تثبيت التبعيات: قم بإعداد بيئة Python المطلوبة وتثبيت جميع التبعيات اللازمة كما هو موضح في وثائق المشروع.

  3. استكشاف الأمثلة: راجع الأمثلة المقدمة لفهم كيفية تطبيق تقنيات التحسين المختلفة على نماذج متنوعة.

  4. اختيار تقنية التحسين: اختر تقنية تحسين النموذج المناسبة (مثل التكميم، أو التقليم) بناءً على نموذجك ومتطلبات النشر.

  5. تطبيق التحسين: دمج تقنية التحسين المختارة في تدريب نموذج التعلم العميق أو خط أنابيب ما بعد التدريب.

  6. نشر النموذج المحسن: تصدير النموذج المحسن للنشر باستخدام الإطارات المدعومة مثل TensorRT-LLM أو TensorRT أو vLLM.

  7. تقييم الأداء: قياس سرعة الاستدلال ودقة النموذج المحسن لضمان تحقيق مكاسب الأداء المطلوبة.

  • تسريع استدلال LLM
  • نشر على أجهزة الحافة
  • تطبيقات الذكاء الاصطناعي في الوقت الحقيقي
  • تقليل تكاليف استدلال السحابة
  • البحث في بنية الشبكات العصبية
  • تكميم النموذج
  • تقطير المعرفة

من NVIDIA

تقييمات NVIDIA Model-Optimizer

جاري التحميل...

أدوات ذكاء اصطناعي شائعة مثل NVIDIA Model-Optimizer

NVIDIA TensorRT

أطر عمل الذكاء الاصطناعي

NVIDIA TensorRT هو مجموعة أدوات تطوير برمجيات عالية الأداء لتحسين استدلال التعلم العميق، تقلل من زمن الاستجابة، وتوفر إنتاجية عالية لتطبيقات الذكاء الاصطناعي عبر منصات متعددة.

MLOps ونشر النماذج
عرض الأداة

أطر عمل الذكاء الاصطناعي

مجموعة أدوات تطوير برمجيات عالية الأداء لتحسين استدلال التعلم العميق، تقلل من زمن الاستجابة، وتوفر إنتاجية عالية لتطبيقات الذكاء الاصطناعي عبر منصات متعددة.NVIDIA TensorRT هو مجموعة أدوات تطوير برمجيات عالية الأداء لتحسين استدلال التعلم العميق، تقلل من زمن الاستجابة، وتوفر إنتاجية عالية لتطبيقات الذكاء الاصطناعي عبر منصات متعددة.

MLOps ونشر النماذج
عرض أفضل 50 من أطر عمل الذكاء الاصطناعي

Intel® Neural Compressor

مستودعات GitHub للذكاء الاصطناعي

Intel® Neural Compressor هي مكتبة Python مفتوحة المصدر تقدم تقنيات ضغط نماذج شائعة لـ PyTorch و TensorFlow و JAX. تدعم التكميم المتقدم لنماذج LLMs و VLMs، مما يحسن الأداء عبر…

منصّات تعلّم الآلة
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مكتبة Python مفتوحة المصدر تقدم تقنيات ضغط نماذج شائعة لـ PyTorch و TensorFlow و JAX. تدعم التكميم المتقدم لنماذج LLMs و VLMs، مما يحسن الأداء عبر…Intel® Neural Compressor هي مكتبة Python مفتوحة المصدر تقدم تقنيات ضغط نماذج شائعة لـ PyTorch و TensorFlow و JAX. تدعم التكميم المتقدم لنماذج LLMs و VLMs، مما يحسن الأداء عبر…

منصّات تعلّم الآلة
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

DeepInfer

مستودعات GitHub للذكاء الاصطناعي

DeepInfer هو إطار استدلال عالي الأداء وواسع النطاق مصمم لنماذج DeepSeek. يسهل عمليات الاستدلال بكفاءة وقابلية التوسع، مما يجعله مثالياً للمطورين الذين يعملون على مشاريع التعلم…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

إطار استدلال عالي الأداء وواسع النطاق مصمم لنماذج DeepSeek. يسهل عمليات الاستدلال بكفاءة وقابلية التوسع، مما يجعله مثالياً للمطورين الذين يعملون على مشاريع التعلم…DeepInfer هو إطار استدلال عالي الأداء وواسع النطاق مصمم لنماذج DeepSeek. يسهل عمليات الاستدلال بكفاءة وقابلية التوسع، مما يجعله مثالياً للمطورين الذين يعملون على مشاريع التعلم…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

مكتبة تحسين DeepSpeed

مستودعات GitHub للذكاء الاصطناعي

DeepSpeed هي مكتبة تحسين تعلم عميق مصممة لتعزيز التدريب والتنبؤ الموزع. تهدف إلى جعل هذه العمليات سهلة وفعالة وفعالة، مما يوفر تحسينات كبيرة في السرعة وقابلية التوسع لنماذج الذكاء…

منصّات تعلّم الآلة
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

DeepSpeed هي مكتبة تحسين تعلم عميق مصممة لتعزيز التدريب والتنبؤ الموزع. تهدف إلى جعل هذه العمليات سهلة وفعالة وفعالة، مما يوفر تحسينات كبيرة في السرعة وقابلية التوسع لنماذج الذكاء…

منصّات تعلّم الآلة
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

TensorRT-LLM

مستودعات GitHub للذكاء الاصطناعي

يوفر TensorRT-LLM واجهة برمجة تطبيقات بايثون لتعريف نماذج اللغة الكبيرة، وتحسين الاستدلال على وحدات معالجة الرسومات من NVIDIA. ويتضمن مكونات لإنشاء بيئات تشغيل بايثون وC++ لتنظيم…

منصّات تعلّم الآلة

المرتبة 74 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

يوفر TensorRT-LLM واجهة برمجة تطبيقات بايثون لتعريف نماذج اللغة الكبيرة، وتحسين الاستدلال على وحدات معالجة الرسومات من NVIDIA. ويتضمن مكونات لإنشاء بيئات تشغيل بايثون وC++ لتنظيم…

منصّات تعلّم الآلة
المرتبة 74 في مستودعات GitHub للذكاء الاصطناعي

ms-swift

مستودعات GitHub للذكاء الاصطناعي

ms-swift هو مستودع على GitHub يمكّن من استخدام PEFT أو ضبط المعلمات الكاملة لأكثر من 600 نموذج لغوي كبير (LLMs) و300 نموذج لغوي متعدد الوسائط (MLLMs). يدعم نماذج مثل Qwen3.8…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مستودع على GitHub يمكّن من استخدام PEFT أو ضبط المعلمات الكاملة لأكثر من 600 نموذج لغوي كبير (LLMs) و300 نموذج لغوي متعدد الوسائط (MLLMs). يدعم نماذج مثل Qwen3.8…ms-swift هو مستودع على GitHub يمكّن من استخدام PEFT أو ضبط المعلمات الكاملة لأكثر من 600 نموذج لغوي كبير (LLMs) و300 نموذج لغوي متعدد الوسائط (MLLMs). يدعم نماذج مثل Qwen3.8…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

DeepSpeed

أطر عمل الذكاء الاصطناعي

DeepSpeed هو مكتبة تحسين التعلم العميق مصممة لتبسيط التدريب الموزع. يعزز الكفاءة والفعالية، مما يمكّن من تدريب نماذج كبيرة النطاق باستخدام تقنيات متقدمة مثل ZeRO و3D-Parallelism.

منصّات تعلّم الآلة
عرض الأداة

أطر عمل الذكاء الاصطناعي

مكتبة تحسين التعلم العميق مصممة لتبسيط التدريب الموزع. يعزز الكفاءة والفعالية، مما يمكّن من تدريب نماذج كبيرة النطاق باستخدام تقنيات متقدمة مثل ZeRO و3D-Parallelism.DeepSpeed هو مكتبة تحسين التعلم العميق مصممة لتبسيط التدريب الموزع. يعزز الكفاءة والفعالية، مما يمكّن من تدريب نماذج كبيرة النطاق باستخدام تقنيات متقدمة مثل ZeRO و3D-Parallelism.

مميزةمنصّات تعلّم الآلة
عرض أفضل 50 من أطر عمل الذكاء الاصطناعي

AirLLM

مستودعات GitHub للذكاء الاصطناعي

AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج

المرتبة 73 في تعلّم الآلة وعلم البيانات

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج
المرتبة 73 في تعلّم الآلة وعلم البيانات
1 من 8