설명
pplx-embed-v2-context-9b-preview는 검색 증강 생성(RAG) 시스템에서 사용하기 위해 특별히 설계된 컨텍스트 임베딩 모델입니다. 이 모델은 문서를 청크로 나누고 이러한 청크를 함께 인코딩하여 처리합니다. 결과로 생성된 임베딩은 각 청크의 컨텍스트를 반영하여 보다 미세한 표현을 제공합니다. 이는 미리보기 릴리스이며, 사용자는 향후 버전에서 가중치, 임베딩 및 인터페이스가 변경될 수 있음을 인지해야 하며, 이는 하위 호환성에 영향을 미칠 수 있습니다.
더 읽기
모델은 쿼리와 문서에 대해 서로 다른 인코딩 방법을 사용하며, 쿼리에는 encode_queries를, 문서 청크에는 encode를 사용합니다. 문서 방법으로 쿼리를 인코딩하면 검색 품질이 저하될 수 있다는 점에 유의해야 합니다. 이 모델은 비정규화된 int8 양자화 임베딩을 생성하며, 이는 코사인 유사성을 사용하여 비교하거나 내적 비교를 위해 정규화할 수 있습니다.
pplx-embed-v2-context-9b-preview 모델은 transformers 버전 5.4.0 이상, torch, numpy, safetensors 및 tqdm을 포함한 특정 종속성을 요구합니다. 이 모델은 사용자 정의 코드를 활용하므로 모델을 로드할 때 trust_remote_code=True를 사용해야 합니다. 사용자는 배치 크기, 임베딩 정규화, NumPy 배열로의 변환 및 장치 할당과 같은 다양한 옵션을 조정할 수 있습니다.
이 모델은 1024 및 2048 차원에서 Matryoshka 손실로 훈련되어 임베딩 크기에 유연성을 제공합니다. 그러나 1024 및 2048 차원만 훈련되었으며, 다른 잘림 크기는 지원되지 않습니다. 이 모델은 문서 처리를 위한 컨텍스트 임베딩이 필요한 RAG 시스템에서 작업하는 개발자 및 연구자에게 이상적입니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
pplx-embed-v2-context-9b-preview 하이라이트
컨텍스트 임베딩 모델
RAG 시스템 지원
문서 청크 인코딩
int8 양자화 임베딩 생성
쿼리와 문서에 대한 별도 인코딩
사용자 정의 코드 지원
Matryoshka 손실 훈련
차원: 1024 및 2048
pplx-embed-v2-context-9b-preview 시작하기
모델 접근: Hugging Face 방문
인증: 자격 증명 사용
환경 설정: 종속성 설치
API를 통한 통합: encode 및 encode_queries 사용
최적화: 배치 크기 및 정규화 조정
pplx-embed-v2-context-9b-preview의 사용 사례
- 문서 청크화
- 쿼리 인코딩
- 컨텍스트 분석
- RAG 시스템 통합
- 임베딩 비교
