mlc-llm

vLLM

مستودعات GitHub للذكاء الاصطناعي

#23

محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…vllm-project/vllm هو محرك استدلال وخدمة عالي الإنتاجية وفعال من حيث الذاكرة مصمم لنماذج اللغة الكبيرة (LLMs). يقوم بتحسين الأداء مع تقليل استخدام الموارد، مما يجعله مناسبًا…

LMDeploy

مستودعات GitHub للذكاء الاصطناعي

#72

مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.LMDeploy هو مجموعة أدوات مصممة لضغط ونشر وتقديم نماذج اللغة الكبيرة (LLMs). توفر للمطورين الأدوات اللازمة لإدارة LLMs بكفاءة، مما يضمن الأداء الأمثل وقابلية التوسع.

FlashInfer

مستودعات GitHub للذكاء الاصطناعي

مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.FlashInfer هي مكتبة نواة مصممة لخدمة نماذج اللغة الكبيرة (LLMs). تسهل نشر وإدارة LLMs بكفاءة، مما يمكّن المطورين من المساهمة وتعزيز قدراتها من خلال GitHub.

SGLang

مستودعات GitHub للذكاء الاصطناعي

#53

إطار تقديم عالي الأداء مصمم لنماذج اللغة الكبيرة والنماذج متعددة الوسائط. يوفر قدرات تقديم فعالة تعزز أداء تطبيقات الذكاء الاصطناعي، مما يجعله مناسبًا للمطورين والباحثين…SGLang هو إطار تقديم عالي الأداء مصمم لنماذج اللغة الكبيرة والنماذج متعددة الوسائط. يوفر قدرات تقديم فعالة تعزز أداء تطبيقات الذكاء الاصطناعي، مما يجعله مناسبًا للمطورين والباحثين…

PowerInfer

مستودعات GitHub للذكاء الاصطناعي

#202

أداة نموذج لغة كبيرة عالية السرعة مصممة للنشر المحلي. تتيح استنتاجًا فعالًا وسريعًا لنماذج اللغة الكبيرة، مما يجعلها مناسبة للمطورين والباحثين الذين يسعون لتنفيذ…PowerInfer هو أداة نموذج لغة كبيرة عالية السرعة مصممة للنشر المحلي. تتيح استنتاجًا فعالًا وسريعًا لنماذج اللغة الكبيرة، مما يجعلها مناسبة للمطورين والباحثين الذين يسعون لتنفيذ…

llmware

مستودعات GitHub للذكاء الاصطناعي

#81

إطار موحد مصمم لبناء خطوط أنابيب RAG للمؤسسات باستخدام نماذج صغيرة ومتخصصة. إنه يبسط دمج نماذج الذكاء الاصطناعي المختلفة في خطوط أنابيب متماسكة، مما يعزز الكفاءة…llmware هو إطار موحد مصمم لبناء خطوط أنابيب RAG للمؤسسات باستخدام نماذج صغيرة ومتخصصة. إنه يبسط دمج نماذج الذكاء الاصطناعي المختلفة في خطوط أنابيب متماسكة، مما يعزز الكفاءة…

MLX LM

مستودعات GitHub للذكاء الاصطناعي

#162

مشروع على GitHub مصمم لتسهيل تشغيل نماذج اللغة الكبيرة (LLMs) باستخدام إطار عمل MLX. يتيح للمطورين المساهمة في تطويره وتعزيز قدراته.MLX LM هو مشروع على GitHub مصمم لتسهيل تشغيل نماذج اللغة الكبيرة (LLMs) باستخدام إطار عمل MLX. يتيح للمطورين المساهمة في تطويره وتعزيز قدراته.

Soup

مستودعات GitHub للذكاء الاصطناعي

حساء هو مستودع على GitHub يمكّن من تحسين نماذج اللغة الكبيرة (LLMs) باستخدام ملف YAML واحد. يستخدم تقنية تدفق الطبقات لتدريب نموذج يحتوي على 8 مليار معلمة على وحدة معالجة…