محرك تضمين الرسوم البيانية Cleora

الوصف

Cleora هو محرك تضمين رسوم بيانية ثوري مدعوم بلغة Rust مصمم لتوفير تضمينات رسوم بيانية حتمية وعالية الدقة. على عكس الطرق التقليدية التي تعتمد على المسارات العشوائية، وأخذ العينات السلبية، ومجموعات وحدات معالجة الرسومات، يقوم Cleora بحساب التوزيع الدقيق لجميع المسارات الممكنة في قوة مصفوفة متناثرة واحدة. يلغي هذا النهج الضوضاء والتقريب العشوائي، مما يضمن قابلية تكرار مثالية وحسابًا أسرع بكثير على نواة وحدة معالجة مركزية واحدة.

يكمن جوهر ابتكار Cleora في خوارزميته. يقوم ببناء مصفوفة انتقال متناثرة من الرسم البياني المدخل، ويتعامل مع الرسوم البيانية الفائقة غير المتجانسة ذات الحواف المصنفة والمتعددة العلاقات بشكل أصلي. كل تكرار لضرب المصفوفة مع مصفوفة الانتقال هذه يلتقط التوزيع الكامل للمسارات بطول معين. يتبع ذلك انتشار مع تطبيع L2، حيث يتم تحديث تضمين كل عقدة إلى المتوسط المطبعي لتضمينات جيرانها. تتطلب هذه العملية بضع تكرارات فقط لتشابه التواجد المشترك والمزيد قليلاً لتشابه السياق، مما يجعلها أسرع بمراتب من الطرق القائمة على أخذ العينات.

تشمل المزايا الرئيسية لـ Cleora سرعته ودقته وكفاءته. إنه أسرع بما يصل إلى 240 مرة من GraphSAGE ويستخدم ذاكرة أقل بكثير من المكتبات الأخرى مثل NetMF. المحرك حتمي افتراضيًا، وهو أمر بالغ الأهمية للبحث القابل للتكرار وخطوط أنابيب التعلم الآلي الإنتاجية. يدعم الرسوم البيانية الفائقة غير المتجانسة بشكل أصلي، مما يلغي الحاجة إلى معالجة مسبقة معقدة للرسوم البيانية. علاوة على ذلك، يتميز Cleora بحجم تثبيت صغير يبلغ حوالي 5 ميجابايت مع numpy و scipy فقط كاعتماديات، مما يتجنب مشاكل تثبيت برامج تشغيل وحدة معالجة الرسومات والأطر الثقيلة.

Cleora جاهز للإنتاج، ويوفر تضمينات مستقرة واستقرائية تدعم تضمين العقد الجديدة دون إعادة تدريب الرسم البياني بأكمله. تمتد قدراته إلى تطبيقات مختلفة، بما في ذلك أنظمة التوصية، والرسوم البيانية المعرفية، وحل الكيانات، واكتشاف الاحتيال، واكتشاف الأدوية. يتم تسليط الضوء على كفاءة المحرك من خلال دراسات الحالة مثل Zomato، التي استبدلت GraphSAGE بـ Cleora، مما قلل وقت إنشاء التضمين من 20 ساعة إلى أقل من 5 دقائق لملايين المستخدمين.

يوفر Cleora مجموعة شاملة من الأدوات، بما في ذلك خوارزميات بديلة مدمجة للمقارنة، ومجموعة تقييم غنية لتقييم جودة التضمين، وقدرات أخذ عينات الرسوم البيانية، وضبط المعلمات الفائقة. يتضمن أيضًا أداة سطر أوامر للتكامل السهل في خطوط أنابيب البرمجة النصية و CI/CD. المكتبة بأكملها مفتوحة المصدر، ومجانية للاستخدام والتعديل والنشر، مما يوفر حلاً فعالاً من حيث التكلفة مقارنة بالبدائل القائمة على وحدة معالجة الرسومات.

الميزات الأساسية لـ محرك تضمين الرسوم البيانية Cleora

• حساب تضمين الرسوم البيانية بشكل حتمي عبر قوى المصفوفات المتناثرة

• تنفيذ يعتمد على وحدة المعالجة المركزية فقط، لا حاجة لوحدة معالجة الرسومات

• يتعامل مع الرسوم البيانية الفائقة غير المتجانسة ذات الحواف المصنفة والمتعددة العلاقات بشكل أصلي

• يلغي أخذ عينات المسارات العشوائية وتدريب skip-gram

• يحقق دقة عالية على الرسوم البيانية الواقعية

• أسرع بكثير من الطرق القائمة على وحدة معالجة الرسومات والطرق القائمة على أخذ العينات

• اعتماديات دنيا وحجم تثبيت صغير (~5 ميجابايت)

• يدعم التعلم الاستقرائي للعقد الجديدة دون إعادة تدريب

• يتضمن خوارزميات بديلة مدمجة للمقارنة

• يوفر مجموعة تقييم غنية لجودة التضمين

• يوفر أداة سطر أوامر للتكامل مع البرمجة النصية و CI/CD

• مفتوح المصدر ومجاني للاستخدام والتعديل والنشر

كيفية استخدام محرك تضمين الرسوم البيانية Cleora؟

1. 1

   التثبيت: pip install pycleora

2. 2

   بيانات الإدخال: تغذية قوائم الحواف، سجلات التفاعل، أو ثلاثيات المعرفة بتنسيق TSV.

3. 3

   بناء الرسم البياني: يقوم Cleora ببناء رسم بياني فائق غير متجانس من بيانات الإدخال.

4. 4

   قوة المصفوفة: يحسب مصفوفة الانتقال المتناثرة وقواها لالتقاط توزيعات المسارات.

5. 5

   إنشاء التضمين: يقوم الانتشار المطبع بـ L2 بإنشاء متجهات تضمين حتمية.

6. 6

   التعلم الآلي اللاحق: استخدم التضمينات التي تم إنشاؤها للتوصيات، التصنيف، البحث، إلخ.

حالات استخدام محرك تضمين الرسوم البيانية Cleora

• أنظمة التوصية
• الرسوم البيانية المعرفية
• حل الكيانات
• اكتشاف الاحتيال
• تحليل الشبكات الاجتماعية
• اكتشاف الأدوية
• تحسين سلسلة التوريد
• تقسيم العملاء

الأسئلة الشائعة من محرك تضمين الرسوم البيانية Cleora

• ما الذي يجعل محرك تضمين الرسوم البيانية لـ Cleora حتميًا؟

  يقوم Cleora بحساب التوزيع الدقيق لجميع المسارات الممكنة باستخدام قوى المصفوفات المتناثرة، مما يلغي أخذ العينات العشوائي والتقريب المتأصل في الطرق الأخرى، وبالتالي يضمن مخرجات حتمية.

• هل يتطلب Cleora وحدة معالجة رسومات لتضمين الرسوم البيانية؟

  لا، تم تصميم Cleora ليعمل بوحدة معالجة مركزية فقط ولا يتطلب أي أجهزة أو برامج تشغيل لوحدة معالجة الرسومات، مما يجعله متاحًا وفعالاً من حيث التكلفة.

• كيف يتعامل Cleora مع هياكل الرسوم البيانية المعقدة مثل الرسوم البيانية الفائقة؟

  يتعامل Cleora مع الرسوم البيانية الفائقة غير المتجانسة ذات الحواف المصنفة والمتعددة العلاقات بشكل أصلي، مما يسمح بالإدخال المباشر للعلاقات المعقدة دون معالجة مسبقة مكثفة.

• ما هي المزايا الرئيسية لـ Cleora مقارنة بتقنيات تضمين الرسوم البيانية الأخرى؟

  يوفر Cleora سرعة فائقة (أسرع بما يصل إلى 240 مرة)، ومخرجات حتمية، واستخدامًا أقل بكثير للذاكرة، ودعمًا أصليًا لهياكل الرسوم البيانية المعقدة، كل ذلك دون الحاجة إلى وحدات معالجة الرسومات.

• هل يمكن استخدام تضمينات Cleora للتعلم الاستقرائي؟

  نعم، تضمينات Cleora مستقرة وتدعم التعلم الاستقرائي، مما يعني أنه يمكن تضمين العقد الجديدة دون الحاجة إلى إعادة تدريب الرسم البياني بأكمله.

• ما هو حجم التثبيت النموذجي والبصمة الاعتمادية لـ Cleora؟

  يحتوي Cleora على حجم تثبيت صغير يبلغ حوالي 5 ميجابايت، مع numpy و scipy فقط كاعتمادياته الأساسية، مما يجعله خفيف الوزن وسهل التكامل.

• كيف تقارن دقة Cleora بالطرق الأخرى لتضمين الرسوم البيانية؟

  يحقق Cleora باستمرار أعلى دقة على الرسوم البيانية الواقعية، وغالبًا ما يتفوق على الطرق الأخرى التي تسجل أرقامًا فردية، كما هو موضح في معايير مختلفة.

• هل Cleora مناسب لبيئات الإنتاج؟

  نعم، Cleora جاهز للإنتاج، ويوفر مخرجات حتمية، وأداءً عاليًا، واستقرارًا، مما يجعله مثاليًا لخطوط أنابيب التعلم الآلي الإنتاجية وعمليات النشر واسعة النطاق.

• ما نوع بيانات الإدخال التي يقبلها Cleora؟

  يقبل Cleora أي ملف TSV بأعمدة مصنفة، بما في ذلك قوائم الحواف، وسجلات التفاعل، أو ثلاثيات المعرفة، ويدعم العلاقات والمعدلات المعقدة.

• كيف يتوسع أداء Cleora مع حجم الرسم البياني؟

  يظهر Cleora توسعًا دون خطي، مما يسمح له بمعالجة الرسوم البيانية الكبيرة جدًا بكفاءة. على سبيل المثال، يمكنه تضمين 2 مليون عقدة في 31 ثانية.