تخطَّ إلى المحتوى الرئيسي
ToolPotion
مستشار الذكاء الاصطناعي
إرسال (مجاني)

trnrt

trnrt هو محرك استدلال LLM مفتوح المصدر مصمم لـ AWS Trainium، ويقدم نوى NKI العملاقة ويدعم سياقًا مكونًا من 1M توكن. تم تطويره بواسطة RunAnywhere، ويوفر واجهة برمجة تطبيقات متوافقة مع OpenAI، مما يمكّن من نشر نماذج اللغة الكبيرة بكفاءة وقابلية للتوسع على أجهزة AWS المتخصصة. يسهل هذا المشروع استدلال نماذج الذكاء الاصطناعي المتقدمة للمطورين والمنظمات.

عرض المستودع
مشاركة
عرض المستودع
مشاركة

trnrt هو محرك استدلال LLM مفتوح المصدر مصمم خصيصًا لـ AWS Trainium، مسرعات التعلم الآلي المخصصة من أمازون. يهدف هذا المشروع، الذي تم تطويره بواسطة RunAnywhere، إلى توفير حل قوي وفعال لنشر وتشغيل نماذج اللغة الكبيرة (LLMs) على نطاق واسع.

قراءة المزيد

تكمن جوهر قدرة trnrt في استخدامه لنوى NKI العملاقة، وهي نوى محسّنة مصممة لتعظيم أداء أجهزة AWS Trainium. يسمح هذا التحسين بإجراء حسابات فعالة للغاية، وهو أمر حاسم للأحمال الثقيلة لاستدلال LLM. ميزة بارزة هي دعمه لسياق مكون من 1M توكن، مما يمكّن من معالجة تسلسلات إدخال طويلة بشكل استثنائي، وهو مفيد للمهام المعقدة التي تتطلب فهمًا سياقيًا واسعًا.

علاوة على ذلك، يقدم trnrt واجهة برمجة تطبيقات متوافقة مع OpenAI. تبسط هذه التوافقية التكامل للمطورين الذين هم بالفعل على دراية بنظام OpenAI البيئي، مما يسمح لهم بالاستفادة من أدواتهم وعملياتهم الحالية مع الاستفادة من مزايا الأداء لأجهزة AWS Trainium. يجعل هذا trnrt خيارًا جذابًا للمنظمات التي تتطلع إلى نشر نماذج LLM مخصصة أو مفتوحة المصدر على أجهزة عالية الأداء وفعالة من حيث التكلفة.

تم هيكلة المشروع كمستودع على GitHub، مما يدل على طبيعته المفتوحة المصدر ويشجع على مساهمات المجتمع. يتضمن مكونات متنوعة مثل تكوينات Docker، الوثائق، الاختبارات، والأدوات، مما يشير إلى بيئة تطوير شاملة. تؤكد وجود ملفات مثل `CONTRIBUTING.md` و `LICENSE` على التزامه بمبادئ المصدر المفتوح والتطوير التعاوني. يعد trnrt مثاليًا للباحثين والمطورين والشركات التي تسعى لتحسين خطوط استدلال LLM الخاصة بها على بنية AWS التحتية.

  • الفئةMLOps ونشر النماذج
  • نموذج التسعيرمفتوح المصدر
  • النشرسحابي
  • المنصاتالويب

  • محرك استدلال LLM مفتوح

  • محسن لـ AWS Trainium

  • يستخدم نوى NKI العملاقة

  • يدعم سياق 1M توكن

  • واجهة برمجة تطبيقات متوافقة مع OpenAI

  • تم تطويره بواسطة RunAnywhere

  • مستودع GitHub للوصول المفتوح المصدر

  • يتضمن تكوينات Docker

  • توثيق شامل متاح

  • مجموعة اختبارات للموثوقية

  • أدوات للتطوير والنشر

  • إرشادات مساهمة المجتمع

  • معلومات ترخيص واضحة

  1. استنساخ المستودع: احصل على كود مصدر trnrt عن طريق استنساخ مستودع GitHub.

  2. تثبيت التبعيات: قم بإعداد بيئة التطوير اللازمة وتثبيت المكتبات المطلوبة.

  3. تكوين AWS Trainium: تأكد من تكوين بيئة AWS الخاصة بك بشكل صحيح لنسخ Trainium.

  4. بناء صورة Docker: استخدم ملفات Docker المقدمة لبناء صورة محرك الاستدلال.

  5. نشر النموذج: دمج نموذج LLM المطلوب مع محرك trnrt.

  6. تشغيل الاستدلال: تنفيذ استدلال LLM باستخدام واجهة برمجة التطبيقات المتوافقة مع OpenAI.

  7. مراقبة الأداء: راقب وقم بتحسين الأداء على AWS Trainium.

  • استدلال LLM عالي الأداء
  • معالجة السياق الطويل
  • تكامل واجهة برمجة تطبيقات OpenAI
  • نشر LLM مخصص
  • البحث والتطوير في الذكاء الاصطناعي
  • تطبيقات الذكاء الاصطناعي القابلة للتوسع

تقييمات trnrt

جاري التحميل...

أدوات ذكاء اصطناعي شائعة مثل trnrt

vLLM

مستودعات GitHub للذكاء الاصطناعي

vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

MLOps ونشر النماذج

المرتبة 23 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

مميزةMLOps ونشر النماذج
المرتبة 23 في مستودعات GitHub للذكاء الاصطناعي

mlc-llm

مستودعات GitHub للذكاء الاصطناعي

mlc-llm هو محرك نشر LLM عالمي يستخدم تجميع التعلم الآلي لتبسيط عملية النشر. تم تصميمه لتعزيز كفاءة وقابلية توسيع نشر نماذج اللغة الكبيرة عبر منصات متنوعة.

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك نشر LLM عالمي يستخدم تجميع التعلم الآلي لتبسيط عملية النشر. تم تصميمه لتعزيز كفاءة وقابلية توسيع نشر نماذج اللغة الكبيرة عبر منصات متنوعة.mlc-llm هو محرك نشر LLM عالمي يستخدم تجميع التعلم الآلي لتبسيط عملية النشر. تم تصميمه لتعزيز كفاءة وقابلية توسيع نشر نماذج اللغة الكبيرة عبر منصات متنوعة.

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

MNN

مستودعات GitHub للذكاء الاصطناعي

MNN هو محرك استدلال خفيف الوزن وعالي الأداء تم تطويره بواسطة Alibaba. تم تصميمه لتحسين نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي على الأجهزة، مما يوفر قدرات استدلال…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال خفيف الوزن وعالي الأداء تم تطويره بواسطة Alibaba. تم تصميمه لتحسين نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي على الأجهزة، مما يوفر قدرات استدلال…MNN هو محرك استدلال خفيف الوزن وعالي الأداء تم تطويره بواسطة Alibaba. تم تصميمه لتحسين نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي على الأجهزة، مما يوفر قدرات استدلال…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

FlashInfer

مستودعات GitHub للذكاء الاصطناعي

FlashInfer هي مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.FlashInfer هي مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

llama-modchip

مستودعات GitHub للذكاء الاصطناعي

llama-modchip هو مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات…llama-modchip هو مشروع على GitHub يمكّن المستخدمين من تشغيل نماذج اللغة الكبيرة مثل 284B DeepSeek-V4-Flash و30B MoEs على معالج CPU بسعة 64GB بدون وحدات معالجة رسومية. يدعم معدلات…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي

AirLLM

مستودعات GitHub للذكاء الاصطناعي

AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج

المرتبة 72 في تعلّم الآلة وعلم البيانات

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…AirLLM هو مشروع على GitHub يمكّن من استنتاج 70 مليار معلمة باستخدام وحدة معالجة رسومات واحدة بسعة 4 جيجابايت. تم تصميمه لتحسين أداء نماذج اللغة الكبيرة على الأجهزة المحدودة، مما…

MLOps ونشر النماذج
المرتبة 72 في تعلّم الآلة وعلم البيانات

llmware

مستودعات GitHub للذكاء الاصطناعي

llmware هو إطار موحد مصمم لبناء خطوط أنابيب RAG للمؤسسات باستخدام نماذج صغيرة ومتخصصة. إنه يبسط دمج نماذج الذكاء الاصطناعي المختلفة في خطوط أنابيب متماسكة، مما يعزز الكفاءة…

MLOps ونشر النماذج

المرتبة 103 في مستودعات GitHub للذكاء الاصطناعي

عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

إطار موحد مصمم لبناء خطوط أنابيب RAG للمؤسسات باستخدام نماذج صغيرة ومتخصصة. إنه يبسط دمج نماذج الذكاء الاصطناعي المختلفة في خطوط أنابيب متماسكة، مما يعزز الكفاءة…llmware هو إطار موحد مصمم لبناء خطوط أنابيب RAG للمؤسسات باستخدام نماذج صغيرة ومتخصصة. إنه يبسط دمج نماذج الذكاء الاصطناعي المختلفة في خطوط أنابيب متماسكة، مما يعزز الكفاءة…

MLOps ونشر النماذج
المرتبة 103 في مستودعات GitHub للذكاء الاصطناعي

TensorFold

مستودعات GitHub للذكاء الاصطناعي

TensorFold هو محرك استدلال LLM مفتوح المصدر مصمم للحوسبة عالية الأداء عبر منصات الأجهزة المختلفة. يدعم Metal وCUDA وVulkan، مما يوفر حلاً مرنًا لنشر نماذج اللغة الكبيرة. يركز…

MLOps ونشر النماذج
عرض الأداة

مستودعات GitHub للذكاء الاصطناعي

محرك استدلال LLM مفتوح المصدر مصمم للحوسبة عالية الأداء عبر منصات الأجهزة المختلفة. يدعم Metal وCUDA وVulkan، مما يوفر حلاً مرنًا لنشر نماذج اللغة الكبيرة. يركز…TensorFold هو محرك استدلال LLM مفتوح المصدر مصمم للحوسبة عالية الأداء عبر منصات الأجهزة المختلفة. يدعم Metal وCUDA وVulkan، مما يوفر حلاً مرنًا لنشر نماذج اللغة الكبيرة. يركز…

MLOps ونشر النماذج
عرض أفضل 250 من مستودعات GitHub للذكاء الاصطناعي
1 من 8