Descrição
Cleora é um motor de embedding de grafos inovador com tecnologia Rust, projetado para fornecer embeddings de grafos determinísticos e de alta precisão. Ao contrário dos métodos tradicionais que dependem de caminhadas aleatórias, amostragem negativa e clusters de GPU, Cleora calcula a distribuição exata de todas as caminhadas possíveis em uma única potência de matriz esparsa. Essa abordagem elimina ruído e aproximação estocástica, garantindo reprodutibilidade perfeita e computação significativamente mais rápida em um único núcleo de CPU.
Ler mais
O cerne da inovação de Cleora reside em seu algoritmo. Ele constrói uma matriz de transição esparsa a partir do grafo de entrada, lidando nativamente com hipergrafos heterogêneos com arestas tipadas e multirelacionais. Cada iteração de multiplicação de matriz com essa matriz de transição captura a distribuição completa de caminhadas de um comprimento específico. Isso é seguido por propagação normalizada por L2, onde o embedding de cada nó é atualizado para a média normalizada dos embeddings de seus vizinhos. Este processo requer apenas algumas iterações para similaridade de co-ocorrência e um pouco mais para similaridade contextual, tornando-o ordens de magnitude mais rápido do que métodos baseados em amostragem.
As principais vantagens de Cleora incluem sua velocidade, precisão e eficiência. É até 240 vezes mais rápido que o GraphSAGE e usa significativamente menos memória do que outras bibliotecas como NetMF. O motor é determinístico por padrão, crucial para pesquisa reprodutível e pipelines de ML de produção. Ele suporta nativamente hipergrafos heterogêneos, eliminando a necessidade de pré-processamento complexo de grafos. Além disso, Cleora possui um tamanho de instalação mínimo de cerca de 5 MB com apenas numpy e scipy como dependências, evitando as dores de cabeça de instalações de drivers de GPU e frameworks pesados.
Cleora está pronto para produção, oferecendo embeddings estáveis e indutivos que suportam o embedding de novos nós sem retreinar todo o grafo. Suas capacidades se estendem a várias aplicações, incluindo sistemas de recomendação, grafos de conhecimento, resolução de entidades, detecção de fraudes e descoberta de medicamentos. A eficiência do motor é destacada por estudos de caso como o Zomato, que substituiu o GraphSAGE por Cleora, reduzindo o tempo de geração de embeddings de 20 horas para menos de 5 minutos para milhões de usuários.
Cleora fornece um conjunto abrangente de ferramentas, incluindo algoritmos alternativos integrados para comparação, um rico conjunto de avaliação para avaliar a qualidade do embedding, capacidades de amostragem de grafos e ajuste de hiperparâmetros. Ele também inclui uma ferramenta CLI para fácil integração em pipelines de script e CI/CD. Toda a biblioteca é de código aberto, gratuita para usar, modificar e implantar, oferecendo uma solução econômica em comparação com alternativas baseadas em GPU.
- CategoriaMachine learning e ciência de dados
- Modelo de preçosCódigo Aberto
- ImplantaçãoApenas CPU
- PlataformasWeb
Recursos principais de Cleora Graph Embedding Engine
Cálculo determinístico de embedding de grafo via potências de matriz esparsa
Execução apenas para CPU, sem necessidade de GPU
Lida nativamente com hipergrafos heterogêneos com arestas tipadas e multirelacionais
Elimina amostragem de caminhada aleatória e treinamento skip-gram
Alcança alta precisão em grafos do mundo real
Significativamente mais rápido que métodos baseados em GPU e amostragem
Dependências mínimas e tamanho de instalação pequeno (~5 MB)
Suporta aprendizado indutivo para novos nós sem retreinamento
Inclui algoritmos alternativos integrados para comparação
Fornece um rico conjunto de avaliação para qualidade de embedding
Oferece uma ferramenta CLI para integração de script e CI/CD
Código aberto e gratuito para usar, modificar e implantar
Como usar Cleora Graph Embedding Engine?
Instalar: pip install pycleora
Dados de Entrada: Alimente listas de arestas, logs de interação ou triplas de conhecimento em formato TSV.
Construção do Grafo: Cleora constrói um hipergrafo heterogêneo a partir dos dados de entrada.
Potência da Matriz: Calcula a matriz de transição esparsa e suas potências para capturar distribuições de caminhada.
Geração de Embedding: Propagação normalizada por L2 gera vetores de embedding determinísticos.
ML Downstream: Utilize embeddings gerados para recomendações, classificação, busca, etc.
Casos de uso de Cleora Graph Embedding Engine
- Sistemas de Recomendação
- Grafos de Conhecimento
- Resolução de Entidades
- Detecção de Fraudes
- Análise de Rede Social
- Descoberta de Medicamentos
- Otimização da Cadeia de Suprimentos
- Segmentação de Clientes
