설명
LlamaIndex는 대규모 언어 모델 위에 애플리케이션을 구축하기 위한 오픈 소스 데이터 프레임워크입니다. 이 프레임워크의 목적은 특정 문제를 해결하는 것입니다: LLM은 공개 데이터로 훈련되므로, 이를 개인적이거나 독점적인 정보에 연결하려면 해당 데이터를 수집, 구조화 및 검색하기 위한 별도의 계층이 필요합니다. LlamaIndex는 API, PDF, 기타 문서 및 SQL 데이터베이스와 같은 소스에 대한 데이터 커넥터를 통해 이러한 계층을 제공하며, 수집된 데이터를 인덱스나 그래프로 구조화하는 방법과 LLM 프롬프트에 관련된 컨텍스트를 제공하는 검색 및 쿼리 인터페이스를 제공합니다.
더 읽기
Python에서 이를 사용하여 구축하는 방법은 두 가지가 있습니다. 스타터 패키지인 llama-index는 핵심 라이브러리와 통합 선택을 번들로 제공하여 빠른 설정을 가능하게 합니다. 맞춤형 빌드는 대신 llama-index-core와 특정 통합 패키지를 설치하며, 300개 이상의 패키지가 다양한 LLM, 임베딩 및 벡터 저장소 제공업체를 포함합니다. 고급 API는 초보자가 몇 줄의 코드로 데이터를 수집하고 쿼리할 수 있도록 하며, 저급 API는 데이터 커넥터, 인덱스, 검색기, 쿼리 엔진 및 재순위 모듈을 노출하여 고급 사용자 정의를 가능하게 합니다. LlamaIndex는 모든 것이 단독으로 실행될 필요 없이 LangChain, Flask 또는 Docker와 같은 외부 프레임워크와 통합됩니다.
LlamaIndex의 배후에 있는 회사는 프레임워크가 2023년에 출시된 이후 주요 초점을 변경했습니다. 현재의 주요 제품은 LlamaParse로, 에이전트 문서 파싱, OCR 및 구조화된 추출을 위한 별도의 기업 플랫폼이며, 경량의 무료 파서인 LiteParse와 파싱 및 추출 품질을 위한 오픈 벤치마킹 노력(ParseBench 및 ExtractBench)도 포함됩니다. LlamaParse는 LlamaIndex 프레임워크와 함께 사용하거나 독립적으로 사용할 수 있습니다. 오픈 소스 프레임워크 자체는 검색 및 에이전트 애플리케이션을 구축하는 개발자를 위한 도구 키트로서 여전히 사용 가능하고 유지 관리되고 있습니다.
이 저장소는 MIT 라이센스 하에 출시되었으며, 52,000개 이상의 GitHub 스타와 8,000개 이상의 포크를 기록하여 LLM을 외부 데이터에 연결하기 위한 가장 널리 사용되는 오픈 소스 도구 중 하나가 되었습니다.
- 카테고리머신러닝 및 데이터 사이언스
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
LlamaIndex의 핵심 기능
API, PDF, 기타 문서 및 SQL 데이터베이스를 수집하기 위한 데이터 커넥터
LLM 사용을 위한 수집된 데이터를 조직하는 인덱스 및 그래프 구조
LLM 프롬프트에 관련된 컨텍스트를 제공하는 검색 및 쿼리 인터페이스
몇 줄의 코드로 기본 수집 및 쿼리 파이프라인을 위한 고급 API
데이터 커넥터, 인덱스, 검색기, 쿼리 엔진 및 재순위 모듈을 사용자 정의하기 위한 저급 API
다양한 LLM, 임베딩 및 벡터 저장소 제공업체를 위한 300개 이상의 통합 패키지
LangChain, Flask 및 Docker와 같은 외부 프레임워크와 상호 운용
회사의 별도 에이전트 문서 파싱 및 추출 플랫폼인 LlamaParse와의 선택적 결합
MIT 라이센스, 52,000개 이상의 GitHub 스타 및 8,000개 이상의 포크
LlamaIndex 시작하기
설치하기: 스타터 번들을 위해 pip install llama-index를 실행하거나, 맞춤 설정을 위해 llama-index-core와 선택한 통합을 설치합니다.
데이터 연결하기: 데이터 커넥터를 사용하여 문서, API 또는 데이터베이스를 로드합니다.
인덱스 구축하기: 수집된 데이터를 인덱스나 그래프로 구조화합니다.
쿼리하기: 검색 인터페이스를 통해 프롬프트를 보내 해당 데이터에 기반한 답변을 얻습니다.
LlamaIndex의 사용 사례
- 검색 보강 생성
- 맞춤형 데이터 파이프라인
- 에이전트 애플리케이션
- 문서 파싱 및 추출
