الوصف
LlamaIndex هو إطار عمل مفتوح المصدر للبيانات لبناء التطبيقات على نماذج اللغة الكبيرة. هدفه هو حل مشكلة محددة: يتم تدريب نموذج اللغة الكبير على بيانات عامة، لذا فإن ربطه بمعلومات خاصة أو ملكية يتطلب طبقة منفصلة لاستيعاب، هيكلة، واسترجاع تلك البيانات. يوفر LlamaIndex تلك الطبقة من خلال موصلات البيانات لمصادر مثل واجهات برمجة التطبيقات، وملفات PDF، ومستندات أخرى، وقواعد بيانات SQL، وطرق هيكلة البيانات المستوعبة إلى فهارس أو رسوم بيانية، وواجهة استرجاع واستعلام تغذي السياق ذي الصلة في موجه نموذج اللغة الكبير.
قراءة المزيد
هناك طريقتان لبدء البناء باستخدامه في بايثون. حزمة البداية، llama-index، تجمع المكتبة الأساسية مع مجموعة من التكاملات لإعداد سريع. بدلاً من ذلك، يقوم البناء المخصص بتثبيت llama-index-core بالإضافة إلى حزم تكامل محددة، والتي تزيد عن 300 تغطي مزودي نماذج اللغة الكبيرة، والتضمين، ومخازن المتجهات. تتيح واجهة برمجة التطبيقات عالية المستوى للمبتدئين استيعاب واستعلام البيانات في عدد قليل من أسطر التعليمات البرمجية، بينما تكشف واجهات برمجة التطبيقات ذات المستوى الأدنى عن موصلات البيانات، والفهارس، والمسترجعين، ومحركات الاستعلام، ووحدات إعادة التصنيف للتخصيص المتقدم. يتكامل LlamaIndex أيضًا مع أطر العمل الخارجية مثل LangChain وFlask وDocker بدلاً من الحاجة إلى تشغيل كل شيء من خلاله وحده.
لقد حولت الشركة التي تقف وراء LlamaIndex تركيزها الأساسي منذ إطلاق الإطار في عام 2023. المنتج الرئيسي الحالي هو LlamaParse، وهو منصة منفصلة للشركات لتحليل الوثائق الوكيلة، والتعرف الضوئي على الحروف، والاستخراج المنظم، إلى جانب محلل خفيف الوزن مجاني يسمى LiteParse وجهود تقييم مفتوحة (ParseBench وExtractBench) لجودة التحليل والاستخراج. يمكن استخدام LlamaParse مع إطار عمل LlamaIndex أو بمفرده. يظل إطار العمل مفتوح المصدر متاحًا ومُدارًا كأداة للمطورين الذين يبنون تطبيقات الاسترجاع والوكلاء.
تم إصدار المستودع بموجب ترخيص MIT وقد حصل على أكثر من 52,000 نجمة على GitHub وأكثر من 8,000 تفرع، مما يجعله واحدًا من أكثر الأدوات مفتوحة المصدر استخدامًا لربط نماذج اللغة الكبيرة بالبيانات الخارجية.
- الفئةتعلّم الآلة وعلم البيانات
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ LlamaIndex
موصلات البيانات لاستيعاب واجهات برمجة التطبيقات، وملفات PDF، ومستندات أخرى، وقواعد بيانات SQL
فهارس وهياكل رسومية لتنظيم البيانات المستوعبة لاستخدام نماذج اللغة الكبيرة
واجهة استرجاع واستعلام تغذي السياق ذي الصلة في موجه نموذج اللغة الكبير
واجهة برمجة تطبيقات عالية المستوى لخط أنابيب استيعاب واستعلام أساسي في عدد قليل من أسطر التعليمات البرمجية
واجهات برمجة تطبيقات ذات مستوى أدنى لتخصيص موصلات البيانات، والفهارس، والمسترجعين، ومحركات الاستعلام، ووحدات إعادة التصنيف
أكثر من 300 حزمة تكامل لمزودي نماذج اللغة الكبيرة، والتضمين، ومخازن المتجهات
يتفاعل مع أطر العمل الخارجية مثل LangChain وFlask وDocker
ترابط اختياري مع LlamaParse، منصة الشركة المنفصلة لتحليل الوثائق والاستخراج الوكيل
مرخص بموجب MIT، مع أكثر من 52,000 نجمة على GitHub وأكثر من 8,000 تفرع
البدء مع LlamaIndex
تثبيته: قم بتشغيل pip install llama-index لحزمة البداية، أو llama-index-core بالإضافة إلى التكاملات المختارة لإعداد مخصص.
ربط بياناتك: استخدم موصل بيانات لتحميل المستندات، أو واجهات برمجة التطبيقات، أو قاعدة بيانات.
بناء فهرس: هيكل البيانات المستوعبة إلى فهرس أو رسم بياني.
استعلامه: أرسل موجهًا عبر واجهة الاسترجاع للحصول على إجابة مستندة إلى تلك البيانات.
حالات استخدام LlamaIndex
- توليد معزز بالاسترجاع
- خطوط بيانات مخصصة
- تطبيقات الوكلاء
- تحليل الوثائق والاستخراج
