Cleora Graph Embedding Engine

Le cœur de l'innovation de Cleora réside dans son algorithme. Il construit une matrice de transition clairsemée à partir du graphe d'entrée, gérant nativement les hypergraphes hétérogènes avec des arêtes typées et multi-relationnelles. Chaque itération de multiplication matricielle avec cette matrice de transition capture la distribution complète des marches d'une longueur spécifique. Ceci est suivi d'une propagation normalisée L2, où l'intégration de chaque nœud est mise à jour vers la moyenne normalisée des intégrations de ses voisins. Ce processus ne nécessite que quelques itérations pour la similarité de co-occurrence et un peu plus pour la similarité contextuelle, ce qui le rend plusieurs ordres de grandeur plus rapide que les méthodes basées sur l'échantillonnage.

Les principaux avantages de Cleora incluent sa vitesse, sa précision et son efficacité. Il est jusqu'à 240 fois plus rapide que GraphSAGE et utilise significativement moins de mémoire que d'autres bibliothèques comme NetMF. Le moteur est déterministe par défaut, ce qui est crucial pour la recherche reproductible et les pipelines ML de production. Il prend en charge nativement les hypergraphes hétérogènes, éliminant le besoin d'un prétraitement complexe du graphe. De plus, Cleora affiche une taille d'installation minimale d'environ 5 Mo avec seulement numpy et scipy comme dépendances, évitant les maux de tête liés à l'installation des pilotes GPU et aux frameworks lourds.

Cleora est prêt pour la production, offrant des intégrations stables et inductives qui prennent en charge l'intégration de nouveaux nœuds sans réentraîner l'ensemble du graphe. Ses capacités s'étendent à diverses applications, notamment les systèmes de recommandation, les graphes de connaissances, la résolution d'entités, la détection de fraude et la découverte de médicaments. L'efficacité du moteur est mise en évidence par des études de cas comme Zomato, qui a remplacé GraphSAGE par Cleora, réduisant le temps de génération des intégrations de 20 heures à moins de 5 minutes pour des millions d'utilisateurs.

Cleora fournit une suite complète d'outils, y compris des algorithmes alternatifs intégrés pour la comparaison, une riche suite d'évaluation pour l'évaluation de la qualité des intégrations, des capacités d'échantillonnage de graphes et de réglage des hyperparamètres. Il comprend également un outil CLI pour une intégration facile dans les pipelines de scripting et CI/CD. L'ensemble de la bibliothèque est open-source, libre d'utilisation, de modification et de déploiement, offrant une solution rentable par rapport aux alternatives basées sur GPU.