الوصف
Throttle هو أداة مصممة لتقليل التكاليف المرتبطة باستدلال الذكاء الاصطناعي على وحدات معالجة الرسوميات، سواء كانت مملوكة أو مستأجرة. يحقق ذلك من خلال تحديد تكوينات الخدمة غير الفعالة وإثبات التوفير من حيث الدولارات لكل مليون رمز. يضمن ذلك أن يحتفظ المستخدمون فقط بالتكوينات التي توفر فوائد حقيقية من حيث التكلفة. Throttle متوافق مع مجموعة واسعة من خوادم الذكاء الاصطناعي، بما في ذلك vLLM وSGLang وTGI وOllama وLMDeploy وllama.cpp وTensorRT-LLM وNIM، من بين آخرين.
قراءة المزيد
الأداة مفتوحة المصدر ومتاحة بموجب ترخيص MIT، مما يسمح للمستخدمين بفحص وتعديل الكود حسب الحاجة. تعمل محليًا، مما يعني أن جميع المطالبات والاستجابات والمفاتيح تبقى ضمن بيئة المستخدم، مما يضمن خصوصية البيانات وأمانها. يوفر Throttle واجهة سطر أوامر (CLI) مجانية للاستخدام، كما يقدم أيضًا تجربة مجانية لمدة شهرين للمستخدمين من الشركات.
نموذج تسعير Throttle مرن، يبدأ بـ 10 دولارات من الائتمانات المجانية لـ Throttle Cloud، والتي لا تتطلب بطاقة ائتمان. خطة البداية بسعر 30 دولارًا شهريًا، وخطة المحترفين بسعر 50 دولارًا شهريًا، وخطة الفريق بسعر 100 دولار شهريًا، كل منها يتضمن ائتمانات استخدام معادلة. خطط المؤسسات يتم تسعيرها حسب الطلب وتتضمن تجربة عملية حيث يدفع المستخدمون فقط من التوفير الموثق.
تشمل الوظائف الأساسية للأداة إجراء فحوصات لتحديد التكلفة لكل مليون رمز، مع فترة ثقة تبلغ 95% لأخذ الضوضاء في الاعتبار. تقوم بالإشارة إلى أي تغييرات في طول المخرجات أو ضربات حد الرموز، مما يضمن أن يتم اعتبار التوفير الحقيقي فقط. يوفر Throttle أيضًا واجهة مستخدم (UI) لتصور التوفير والتكاليف، والتي يمكن الوصول إليها محليًا على جهاز المستخدم.
- الفئةMLOps ونشر النماذج
- نموذج التسعيرمجاني مع ميزات مدفوعة
- النشرمحلي
- المنصاتمتوافق مع OpenAI
الميزات الأساسية لـ Throttle
واجهة سطر أوامر مفتوحة المصدر
تحسين التكلفة لاستدلال الذكاء الاصطناعي
التوافق مع عدة خوادم ذكاء اصطناعي
معالجة البيانات محليًا
تجربة مجانية لمدة شهرين للمؤسسات
فترة ثقة 95% للتوفير
أحكام مصححة للضوضاء
Throttle Cloud مع ائتمانات الاستخدام
كيفية استخدام Throttle؟
التثبيت: pipx install throttle-pro
التشغيل: تنفيذ فحص throttle على إعدادك
التحليل: مراجعة توفير التكاليف والتكوينات
التحسين: تنفيذ التكوينات الفعالة من حيث التكلفة
حالات استخدام Throttle
- تقليل التكاليف
- تحليل التكوين
- خصوصية البيانات
- توفير المؤسسات
- تطوير مفتوح المصدر
