الوصف
TensorFold هو مشروع مفتوح المصدر مستضاف على GitHub، يعمل كمحرك استدلال LLM (نموذج اللغة الكبير). تم تصميمه لتوفير تنفيذ عالي الأداء لنماذج اللغة الكبيرة عبر هياكل الأجهزة المتنوعة، مع دعم خاص لـ Metal وCUDA وVulkan. تتيح هذه التوافقية الواسعة للمطورين نشر وتشغيل LLMs بكفاءة على مجموعة من الأجهزة، من الأجهزة المدعومة بـ Metal من Apple إلى وحدات معالجة الرسوميات المدعومة بـ CUDA من NVIDIA وغيرها من الأجهزة التي تدعم واجهة برمجة التطبيقات Vulkan.
قراءة المزيد
يتم تطوير المشروع بنشاط، مع التزام حديث يشير إلى تحسينات مستمرة وإضافات للميزات. يتضمن مكونات لمختلف جوانب نشر LLM، مثل إعداد نقاط التحقق والصور، وواجهات برمجة التطبيقات الخاصة بالمنظم للتحكم عن بعد، وأدوات للتقييم والتسجيل على وحدات معالجة الرسوميات المختلفة. يهدف TensorFold إلى تقديم أساس قوي ومرن لدمج قدرات LLM في التطبيقات والأنظمة.
تم تصميم بنية TensorFold لتسهيل تطوير وتعبئة أوقات تشغيل LLM. يوفر وثائق لتحسين الأداء وأدلة للتقييم. تتضمن هيكلية المستودع أدلة لشفرة التطبيق، والأصول، والوثائق، وأدوات التعبئة، ومكونات الويب، مما يشير إلى نظام بيئي شامل لبناء ونشر حلول قائمة على LLM. يتميز المشروع أيضًا بمعاينة محرك Zig، مما يدل على التركيز على الأداء الأصلي وقدرات الخادم لنماذج مثل Nemotron 3.5 LLM.
مع تركيزه على التطوير مفتوح المصدر ودعمه لعدة واجهات استدلال، يضع TensorFold نفسه كموارد قيمة لمجتمع الذكاء الاصطناعي. يمكّن الباحثين والمهندسين من تجربة ونشر نماذج اللغة الكبيرة دون أن يكونوا مقيدين بموردي الأجهزة المحددين، مما يعزز الوصول الأوسع والابتكار في مجال استدلال الذكاء الاصطناعي.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمفتوح المصدر
- النشرسحابي, استضافة ذاتية
- المنصاتالويب
الميزات الأساسية لـ TensorFold
محرك استدلال LLM
يدعم Metal لأجهزة Apple
يدعم CUDA لوحدات معالجة الرسوميات NVIDIA
يدعم Vulkan لتوافق واسع مع وحدات معالجة الرسوميات
مستودع مفتوح المصدر على GitHub
أدوات لإعداد نقاط التحقق والصور
واجهة برمجة التطبيقات للتحكم عن بعد للمنظم
نشر تلقائي لوقت التشغيل على سطح المكتب للإصدارات المستقرة
أدوات مرجعية نصية وتسجيل غير مرتبطة بوحدات معالجة الرسوميات
محرك Metal أصلي ومعاينة خادم لنموذج Nemotron 3.5 LLM
وثائق شاملة لتحسين الأداء والتقييم
ترخيص Apache-2.0
تكامل محرك Python (TensorFold 1.0.0)
مهارات طلب سحب وكيل المساهمين
البدء مع TensorFold
استنساخ المستودع: احصل على المشروع عن طريق استنساخ مستودع TensorFold على GitHub إلى جهازك المحلي.
تثبيت التبعيات: قم بإعداد بيئة البناء اللازمة وتثبيت أي تبعيات مطلوبة كما هو موضح في وثائق المشروع.
بناء المحرك: قم بتجميع محرك TensorFold لجهازك المستهدف (Metal أو CUDA أو Vulkan) باستخدام سكريبتات البناء المقدمة.
تكوين النماذج: أعد نقاط التحقق والصور الخاصة بـ LLM وفقًا لإرشادات المشروع للاستدلال.
تشغيل الاستدلال: نفذ مهام استدلال LLM باستخدام محرك TensorFold، مستفيدًا من أدائه المحسن لواجهة البرمجة الخلفية التي اخترتها.
تطوير التطبيقات: دمج TensorFold في تطبيقاتك باستخدام واجهاته وأدواته لبناء حلول مخصصة مدعومة بـ LLM.
المساهمة: شارك مع مجتمع المصدر المفتوح من خلال المساهمة في تطوير المشروع أو وثائقه أو جهوده في الاختبار.
حالات استخدام TensorFold
- استدلال LLM عالي الأداء
- نشر الذكاء الاصطناعي عبر الأنظمة
- تطوير نماذج الذكاء الاصطناعي
- البحث والتجريب
- بناء تطبيقات مخصصة لـ LLM
- معالجة النصوص المعجلة بواسطة GPU








