설명
Cleora는 결정론적이고 매우 정확한 그래프 임베딩을 제공하도록 설계된 획기적인 Rust 기반 그래프 임베딩 엔진입니다. 랜덤 워크, 네거티브 샘플링 및 GPU 클러스터에 의존하는 기존 방식과 달리, Cleora는 단일 희소 행렬 거듭제곱을 사용하여 모든 가능한 워크의 정확한 분포를 계산합니다. 이 접근 방식은 노이즈와 확률적 근사를 제거하여 완벽한 재현성을 보장하고 단일 CPU 코어에서 계산 속도를 크게 향상시킵니다.
더 읽기
Cleora 혁신의 핵심은 알고리즘에 있습니다. 입력 그래프에서 희소 전이 행렬을 구성하며, 타입화되고 다중 관계를 갖는 엣지를 가진 이종 하이퍼그래프를 네이티브로 처리합니다. 이 전이 행렬과의 행렬 곱셈 반복은 특정 길이의 워크 분포 전체를 포착합니다. 이어서 L2 정규화된 전파가 수행되며, 각 노드의 임베딩은 이웃 노드 임베딩의 정규화된 평균으로 업데이트됩니다. 이 과정은 공동 발생 유사성의 경우 몇 번의 반복만 필요하며, 문맥 유사성의 경우 약간 더 많은 반복이 필요하여 샘플링 기반 방식보다 수십 배 빠릅니다.
Cleora의 주요 장점은 속도, 정확성 및 효율성입니다. GraphSAGE보다 최대 240배 빠르며 NetMF와 같은 다른 라이브러리보다 훨씬 적은 메모리를 사용합니다. 이 엔진은 기본적으로 결정론적이므로 재현 가능한 연구 및 프로덕션 ML 파이프라인에 매우 중요합니다. 이종 하이퍼그래프를 네이티브로 지원하여 복잡한 그래프 전처리 없이도 사용할 수 있습니다. 또한 Cleora는 numpy와 scipy만을 의존성으로 하여 약 5MB의 최소 설치 크기를 자랑하며, GPU 드라이버 설치 및 무거운 프레임워크의 번거로움을 피할 수 있습니다.
Cleora는 프로덕션 준비가 되어 있으며, 전체 그래프를 재학습하지 않고도 새 노드의 임베딩을 지원하는 안정적이고 귀납적인 임베딩을 제공합니다. 추천 시스템, 지식 그래프, 개체 해상도, 사기 탐지 및 신약 개발을 포함한 다양한 응용 분야로 기능을 확장합니다. 이 엔진의 효율성은 Zomato와 같은 사례 연구에서 강조되는데, Zomato는 GraphSAGE를 Cleora로 교체하여 수백만 명의 사용자에 대한 임베딩 생성 시간을 20시간에서 5분 미만으로 단축했습니다.
Cleora는 비교를 위한 내장 대체 알고리즘, 임베딩 품질 평가를 위한 풍부한 평가 제품군, 그래프 샘플링 기능 및 하이퍼파라미터 튜닝을 포함한 포괄적인 도구 모음을 제공합니다. 또한 스크립팅 및 CI/CD 파이프라인에 쉽게 통합할 수 있는 CLI 도구를 포함합니다. 전체 라이브러리는 오픈 소스이며 무료로 사용, 수정 및 배포할 수 있어 GPU 기반 대안에 비해 비용 효율적인 솔루션을 제공합니다.
- 카테고리머신러닝 및 데이터 사이언스
- 요금제오픈 소스
- 배포CPU 전용
- 플랫폼웹
Cleora Graph Embedding Engine의 핵심 기능
희소 행렬 거듭제곱을 통한 결정론적 그래프 임베딩 계산
CPU 전용 실행, GPU 불필요
타입화되고 다중 관계를 갖는 엣지를 가진 이종 하이퍼그래프 네이티브 처리
랜덤 워크 샘플링 및 스킵그램 학습 제거
실제 그래프에서 높은 정확도 달성
GPU 기반 및 샘플링 기반 방식보다 훨씬 빠름
최소한의 의존성 및 작은 설치 크기 (~5MB)
재학습 없이 새 노드를 위한 귀납적 학습 지원
비교를 위한 내장 대체 알고리즘 포함
임베딩 품질을 위한 풍부한 평가 제품군 제공
스크립팅 및 CI/CD 통합을 위한 CLI 도구 제공
오픈 소스이며 무료로 사용, 수정 및 배포 가능
Cleora Graph Embedding Engine 사용 방법은?
설치: pip install pycleora
입력 데이터: 엣지 목록, 상호 작용 로그 또는 지식 트리플을 TSV 형식으로 제공합니다.
그래프 구성: Cleora는 입력 데이터에서 이종 하이퍼그래프를 구축합니다.
행렬 거듭제곱: 희소 전이 행렬과 그 거듭제곱을 계산하여 워크 분포를 포착합니다.
임베딩 생성: L2 정규화된 전파를 통해 결정론적 임베딩 벡터를 생성합니다.
다운스트림 ML: 생성된 임베딩을 추천, 분류, 검색 등에 활용합니다.
Cleora Graph Embedding Engine의 사용 사례
- 추천 시스템
- 지식 그래프
- 개체 해상도
- 사기 탐지
- 소셜 네트워크 분석
- 신약 개발
- 공급망 최적화
- 고객 세분화
