بوابة LLM

الوصف

بوابة LLM هي بوابة API مفتوحة المصدر تقع بين تطبيقاتك ومزودي LLM مثل OpenAI وAnthropic وGoogle. توفر لك واجهة برمجة تطبيقات واحدة متوافقة مع OpenAI لتوجيه وإدارة وتحليل الطلبات عبر أكثر من 200 نموذج من أكثر من 40 مزودًا، مما يتيح لك تغيير النماذج أو المزودين عن طريق تغيير سلسلة النموذج بدلاً من إعادة كتابة الكود. عادةً ما يتم إضافة إصدارات النماذج الجديدة في غضون 48 ساعة.

نظرًا لأنها متوافقة مع OpenAI، فإن الانتقال يكون بسيطًا مثل توجيه SDK الحالي الخاص بك إلى عنوان URL الأساسي للبوابة والمصادقة باستخدام مفتاح API. يتم تتبع كل طلب مع التكلفة والكمون واستخدام الرموز، مقسمة حسب النموذج والمزود والمشروع ومفتاح API، وتظهر لوحة التحكم معدلات الأخطاء ومعدلات نجاح التخزين المؤقت واتجاهات الاعتمادية. تقوم البوابة بالتبديل تلقائيًا إلى مزودين صحيين عند حدوث خطأ، وتخزن الطلبات المتطابقة، وتقدم حواجز للكشف عن المعلومات الشخصية، ومنع حقن الطلبات، وإيقاف الطلبات الضارة. كما تدعم توليد الصور والفيديو، والبحث عبر الويب، ونماذج الاستدلال من خلال نفس واجهة برمجة التطبيقات.

تقدم بوابة LLM ثلاث طرق لتشغيلها، اثنتان منها مجانيتان: ائتمانات الدفع حسب الاستخدام بأسعار المزودين مع رسوم منصة ثابتة بنسبة 5%، وتوجيه مفاتيحك الخاصة (BYOK) بدون رسوم منصة، أو الاستضافة الذاتية مجانًا بموجب ترخيص AGPLv3. تضيف خطط المؤسسات خصومات على الحجم، وتوجيه مخصص، واحتفاظ غير محدود بالبيانات، وسجلات تدقيق، وSSO/SAML، وسياسات امتثال المزود، وضمان وقت تشغيل بنسبة 99.9%. تُستخدم من قبل وكلاء وأدوات البرمجة بما في ذلك Claude Code وCursor وCline وOpenCode.

الميزات الأساسية لـ بوابة LLM

• واجهة برمجة تطبيقات واحدة متوافقة مع OpenAI لأكثر من 200 نموذج عبر أكثر من 40 مزودًا

• انتقال سهل عن طريق تغيير عنوان URL الأساسي فقط

• تحليلات حقيقية للتكلفة والكمون والرموز لكل نموذج ومزود ومشروع

• تبديل تلقائي إلى مزودين صحيين

• تخزين مؤقت للطلبات لتقليل التكلفة والكمون

• حواجز للكشف عن المعلومات الشخصية ومنع حقن الطلبات

• توليد الصور والفيديو، والبحث عبر الويب، والاستدلال عبر نفس واجهة برمجة التطبيقات

• استضافة مجانية BYOK واستضافة ذاتية (AGPLv3)، بالإضافة إلى ائتمانات الدفع حسب الاستخدام

كيفية استخدام بوابة LLM؟

1. 1

   وجه SDK الخاص بك إلى البوابة: غير عنوان URL الأساسي إلى نقطة نهاية بوابة LLM واستخدم مفتاح API لبوابة LLM.

2. 2

   اختر طريقة الدفع: استخدم ائتمانات الدفع حسب الاستخدام، أو احضر مفاتيح المزود الخاصة بك مجانًا، أو استضف ذاتيًا بموجب AGPLv3.

3. 3

   وجه الطلبات: أرسل الطلبات ودع البوابة توجهها إلى المزود الصحيح مع التبديل التلقائي.

4. 4

   حلل وحقق أقصى استفادة: تتبع التكلفة والكمون والأخطاء في لوحة التحكم ووجه إلى نماذج أرخص حيثما كان ذلك مناسبًا.

حالات استخدام بوابة LLM

• وكلاء ومساعدو البرمجة
• دعم العملاء بالذكاء الاصطناعي
• تحسين تكلفة الذكاء الاصطناعي
• RAG والأسئلة والأجوبة حول الوثائق
• تجنب الاحتجاز من قبل البائعين

الأسئلة الشائعة من بوابة LLM

• ما هي بوابة LLM؟

  إنها بوابة API مفتوحة المصدر ومتوافقة مع OpenAI تقوم بتوجيه الطلبات عبر أكثر من 200 نموذج من أكثر من 40 مزودًا مع تتبع التكلفة، والتخزين المؤقت، والتوجيه الذكي.

• كيف تختلف عن OpenRouter؟

  تقدم استضافة ذاتية كاملة بموجب AGPLv3، وتحليلات أعمق للتكلفة والكمون في الوقت الحقيقي لكل طلب، ومفاتيح مجانية، وإضافات مرنة للمؤسسات مثل الشظايا المخصصة وضمانات SLA مخصصة.

• ما هي النماذج المدعومة؟

  أكثر من 200 نموذج عبر أكثر من 40 مزودًا، بما في ذلك GPT-4o وClaude وGemini وLlama وMistral، مع إضافة إصدارات جديدة في غضون 48 ساعة من الإطلاق.

• كم يكلف ذلك؟

  تتحمل ائتمانات الدفع حسب الاستخدام رسوم منصة ثابتة بنسبة 5%، وتوجيه مفاتيحك الخاصة مجاني، والاستضافة الذاتية مجانية إلى الأبد بموجب AGPLv3؛ الاحتفاظ الكامل بالبيانات يكلف 0.01 دولار لكل مليون رمز.

• ما مدى صعوبة التكامل؟

  إنها متوافقة مع تنسيق API الخاص بـ OpenAI، لذا عليك تغيير سطر واحد، وهو عنوان URL الأساسي، والاحتفاظ بـ SDK الحالي الخاص بك بأي لغة أو إطار عمل.

• ما هو ضمان وقت التشغيل؟

  تأتي حالات المؤسسات مع ضمان وقت تشغيل بنسبة 99.9%، بينما تعتمد التثبيتات المستضافة ذاتيًا على البنية التحتية الخاصة بك، ويقلل التبديل التلقائي من وقت التوقف الفعلي.