설명
Infino는 객체 저장소에 저장된 Apache Parquet 파일에 대해 본래적으로 전체 텍스트, 벡터 및 SQL 검색 기능을 제공하는 오픈 소스 검색 엔진입니다. 이 아키텍처는 전통적인 솔루션보다 10배 저렴하다고 자주 언급되는 상당히 낮은 비용으로 확장 가능한 검색 및 분석 인프라를 가능하게 합니다.
더 읽기
Infino의 기능의 핵심은 다양한 검색 기능을 SQL 쿼리에 직접 포함할 수 있는 능력에 있습니다. 이는 AI 에이전트가 일반적으로 여러 데이터베이스에 걸쳐 여러 단계를 요구할 수 있는 복잡한 질문을 단일 통합 SQL 문으로 공식화할 수 있음을 의미합니다(예: 키워드 검색, 의미 검색, 그래프 검색 및 SQL 집계). Infino는 이러한 결합된 검색 모드를 실행하여 매우 정확한 검색 결과를 제공합니다.
이 엔진은 전체 텍스트 검색을 위한 BM25, 벡터 인덱싱을 위한 HNSW 및 OPANN + Sq16, 그리고 이러한 방법을 결합한 하이브리드 검색을 포함한 여러 검색 유형을 지원합니다. 또한 공유 키를 기반으로 연결된 레코드를 식별할 수 있는 그래프 검색 기능을 통합합니다. 이러한 다중 모드 접근 방식은 검색 정확도와 효율성을 향상시킵니다.
Infino는 성능과 비용 효율성을 위해 설계되었으며, 저렴한 객체 저장소에 데이터를 유지하면서 메모리와 컴퓨팅 자원을 덜 사용하여 높은 쿼리 속도를 유지합니다. 유연한 배포 옵션을 제공하며, 사용자는 객체 저장소(S3, GCS, Azure Blob 또는 로컬 디스크)에서 오픈 소스 코어 엔진을 직접 실행하거나 관리형 다중 테넌트 서버리스 서비스인 Infino Cloud를 선택할 수 있습니다. 엔터프라이즈 옵션은 다중 노드 쿼리 및 고객 관리 키와 같은 추가 기능을 갖춘 단일 테넌트 배포를 제공합니다.
기존 Parquet 데이터의 경우, Infino는 수분 공급이라는 프로세스를 통해 검색 인덱스를 구축할 수 있으며, 이를 통해 DuckDB, pandas 및 Spark와 같은 현재 도구가 열(column) 데이터를 계속 읽을 수 있도록 하면서 Infino가 인덱스 접근을 제공합니다. 이는 Elasticsearch 또는 특정 작업 부하에 대한 벡터 데이터베이스와 같은 전용 검색 경로를 대체할 수 있는 기존 데이터 플랫폼에 대한 보완 솔루션이 되며, 데이터 웨어하우스 및 레이크하우스와 원활하게 통합됩니다.
- 카테고리벡터 데이터베이스 및 검색
- 요금제프리미엄
- 배포클라우드, 온프레미스, 자체 호스팅
- 플랫폼웹
Infino의 핵심 기능
오픈 소스 검색 엔진
전체 텍스트 검색 (BM25)
벡터 검색 (HNSW, OPANN + Sq16)
여러 모드를 결합한 하이브리드 검색
SQL 쿼리 지원 (Apache DataFusion)
Apache Parquet 파일에서의 본래 작업
객체 저장소 호환성 (S3, GCS, Azure Blob)
그래프 검색 기능
복잡한 쿼리를 위한 SQL 내 함수 포함
비용 효율적이고 확장 가능한 아키텍처
저지연 쿼리 성능
온프레미스 및 호스팅 클라우드 배포 옵션
SOC 2 Type II 준수 (Infino Cloud)
전송 중 TLS 및 정지 상태에서 AES-256 암호화
기존 Parquet 파일을 위한 데이터 수분 공급
Infino 사용 방법은?
Infino 설치: `pip install infino` 또는 `npm install @infino-ai/infino`를 사용하여 오픈 소스 코어 엔진을 설정합니다.
데이터 저장: Apache Parquet 형식으로 데이터를 자신의 객체 저장소 버킷(S3, GCS, Azure Blob) 또는 로컬 디스크에 보관합니다.
데이터 수집: Infino를 통해 새로운 JSON, Arrow, 열 또는 벡터를 추가하거나, 기존 Parquet 파일을 수분 공급하여 검색 인덱스를 구축합니다.
쿼리 공식화: Infino의 내장 함수를 활용하여 키워드, 의미 및 그래프 검색을 위한 단일 SQL 문을 사용하여 복잡한 질문을 표현합니다.
검색 실행: 쿼리를 실행하여 전체 텍스트, 벡터 또는 하이브리드 검색을 수행하고 Parquet 데이터에서 직접 순위가 매겨진 결과를 검색합니다.
결과 분석: 반환된 데이터를 에이전틱 애플리케이션에 활용하거나 DuckDB, Spark 또는 pandas와 같은 다른 Parquet 리더와 통합하여 추가 분석을 수행합니다.
Infino의 사용 사례
- 에이전틱 질문 응답
- 비용 효율적인 데이터 검색
- 통합 검색 및 분석
- 로그 분석 및 사고 대응
- 데이터 레이크하우스 통합
- 비구조적 데이터에 대한 의미 검색
- 실시간 데이터 탐색
