الوصف
TAHO هو برنامج من TAHO Labs يستهدف مشكلة محددة وموثقة جيدًا: معظم مجموعات الذكاء الاصطناعي والحوسبة عالية الأداء تعمل بنسبة ضئيلة من قدرتها النظرية، وغالبًا ما يُشار إلى ذلك بحوالي 5% من الاستخدام في الإنتاج، لأن الأحمال كبيرة وغير منتظمة ولا تناسب المعالجات التي تعمل عليها بشكل جيد. تصف TAHO نفسها بأنها نسيج تنفيذ يجلس مباشرة فوق السيليكون وتحت التنظيم، ويخدم الأطر وطبقات التخزين المؤقت، ويعمل تحت أي شيء يديره الفريق بالفعل (Kubernetes، SLURM، vLLM، SGLang، TensorRT-LLM) بدلاً من استبداله.
قراءة المزيد
بدلاً من وضع عبء عمل كامل على جهاز واحد وترك جزء من المعالج غير مستخدم، تقوم TAHO بتفكيك عبء العمل إلى مهام صغيرة على مستوى الخيوط وتوجه كل واحدة إلى المورد الذي يناسبها بشكل أفضل، سواء كان ذلك معالجًا مركزيًا، أو معالجًا رسوميًا، أو مسرعًا، أو جهازًا على الحافة. تفيد الشركة أن هذا يمكن أن ينتج تنفيذًا أسرع بمعدل يصل إلى 10 مرات وتكلفة حسابية أقل بنسبة تصل إلى 90% على الأجهزة التي يمتلكها الفريق بالفعل، دون الحاجة إلى أجهزة جديدة، أو ترحيل، أو إعادة كتابة الكود. تدعم TAHO أجهزة NVIDIA وAMD وIntel وQualcomm وASICs من hyperscaler، وتعمل مع CUDA وROCm وoneAPI.
تم تصميم TAHO للفرق التي تدير حسابات عالية الإنتاجية ودائمة التشغيل مثل تدريب الذكاء الاصطناعي والاستدلال، والأحمال متعددة الخيوط، ونماذج اللغة الكبيرة، وخطوط محاكاة؛ وتقول الشركة إنها ليست مخصصة للتطبيقات البسيطة على الويب، أو واجهات برمجة التطبيقات الأساسية، أو الحسابات الخفيفة والمتقطعة. تعمل في السحابة، أو في الموقع، أو على الحافة، أو عبر نشرات هجينة، وتدعم النماذج التي تتجاوز 100 جيجابايت موزعة عبر عدة عقد، ويمكنها إعادة تحميل تحديثات الأحمال دون توقف. تستخدم الاتصالات من عقدة إلى أخرى شبكة نظير إلى نظير مشفرة، وتقول الشركة إن TAHO تتبنى وضع الأمان الحالي للعميل مع تنفيذ محجوز وعزل وقت التشغيل.
TAHO متاحة من خلال أسواق السحابة بما في ذلك Microsoft، مع إدراج Google Cloud كقريبًا. التسعير يعتمد على الطلب لخطط الأعمال والشركاء؛ يتم تقديم وصول مجاني لمهندسي الذكاء الاصطناعي والبنية التحتية الأفراد لفترة محدودة، وللطلاب من خلال برنامج التعليم. تأسست TAHO Labs على يد تود سميث (الرئيس التنفيذي، سابقًا في أدوار البنية التحتية في Facebook وSnap وDocker)، وميشال آشفبي (CTO، سابقًا في Meta وSnap وGoogle وDisney) وجاستن جيليناس (CBO، المؤسس المشارك لشركة Britelite Immersive).
- الفئةأدوات DevOps والسحابة بالذكاء الاصطناعي
- نموذج التسعيرطلب الوصول
- النشرسحابي
الميزات الأساسية لـ TAHO
تفكيك أحمال الذكاء الاصطناعي والحوسبة عالية الأداء إلى مهام على مستوى الخيوط تناسب المعالجات المتاحة
يعمل تحت المنظمات الحالية (Kubernetes، SLURM) والأطر الخدمية (vLLM، SGLang، TensorRT-LLM) دون استبدالها
يدعم أجهزة NVIDIA وAMD وIntel وQualcomm، بالإضافة إلى ASICs من hyperscaler، عبر CUDA وROCm وoneAPI
لا يتطلب تغييرات في الكود أو النموذج أو خط الأنابيب لتبنيه
الكشف التلقائي عن الفشل وإعادة توزيع الأحمال عبر الأجهزة السليمة
إعادة تحميل التحديثات للأحمال الجارية دون توقف
شبكة نظير إلى نظير مشفرة من عقدة إلى عقدة وعزل وقت التشغيل
يعمل عبر السحابة، أو في الموقع، أو على الحافة، أو عبر نشرات هجينة، بما في ذلك النماذج التي تتجاوز 100 جيجابايت موزعة عبر عدة عقد
كيفية استخدام TAHO؟
تحقق من الملاءمة: تأكد من أن عبء العمل الخاص بك هو حساب عالي الإنتاجية ودائم التشغيل، مثل تدريب الذكاء الاصطناعي، الاستدلال أو محاكاة HPC.
احصل على الوصول: اطلب الوصول كعمل تجاري، أو قدم طلبًا كمهندس للحصول على وصول مجاني، أو قدم طلبًا من خلال برنامج التعليم.
نشر بجانب مجموعتك: قم بتثبيت TAHO تحت منظمك الحالي وإطار الخدمة، دون تغيير كودك.
دع TAHO تفكك العمل: تقوم TAHO بتفكيك الأحمال إلى مهام على مستوى الخيوط وتوجهها إلى المعالج الأنسب.
راقب المكاسب: تتبع الاستخدام، سرعة التنفيذ وتكلفة الحساب مقابل خط الأساس للأجهزة الحالية لديك.
حالات استخدام TAHO
- تدريب الذكاء الاصطناعي والاستدلال
- خدمة LLM
- خطوط محاكاة HPC
- تقليل تكلفة أسطول GPU
