설명
MetaEncoder v1은 Facebook에서 개발한 강력한 기능 추출 모델로, 280억 개의 매개변수를 자랑합니다. Hugging Face에 호스팅되어 있으며, 복잡한 데이터 유형을 다루는 개발자와 연구자에게 강력한 솔루션을 제공합니다. 이 모델은 사용의 용이성을 위해 설계되었으며, 최적의 성능을 위해 `transformers>=5.15`와 80GB GPU가 필요합니다.
더 읽기
MetaEncoder v1의 핵심 기능은 세 가지입니다: `encode`, `retrieve`, `decide`. `encode` 기능은 사용자가 문자열, PIL 이미지 또는 텍스트, 이미지 또는 비디오 프레임을 포함하는 사전과 같은 다양한 입력을 (n, 6656) float32 텐서로 임베딩할 수 있게 합니다. 이러한 임베딩은 L2 정규화되어 저장, 클러스터링 또는 비교 작업에 사용될 수 있습니다. 이 모델은 지침에 민감하여, 동일한 입력이 제공된 맥락에 따라 다르게 임베딩될 수 있어 특정 사용 사례에 대한 적응성을 높입니다.
`retrieve` 기능은 주어진 쿼리에 대해 코퍼스를 순위 매기기 위해 설계되었습니다. 사용자는 쿼리와 코퍼스(항목 목록 또는 미리 인코딩된 텐서)를 전달하고, 선택적으로 두 가지에 대한 지침을 추가할 수 있습니다. 이 기능은 최상의 결과부터 첫 번째까지 정렬된 `Hit` 객체 목록을 반환하여 검색 및 정보 검색 애플리케이션에 이상적입니다. 이 기능은 대규모 코퍼스에 특히 효율적이며, 코퍼스를 한 번 인코딩한 후 반복적으로 검색할 수 있습니다.
마지막으로, `decide` 기능은 주어진 상태에 대한 Jev 스타일 질문에 답할 수 있게 합니다. 이 상태는 문자열 또는 JSON 값일 수 있으며, 선택적으로 이미지나 비디오와 함께 제공될 수 있습니다. 질문은 'noul'(예/아니오), 'choice'(여러 옵션), 또는 'score'(순서 수준)와 같은 유형으로 구조화되며, 각각 특정 지침과 기준이 있습니다. 모델은 확률, 신뢰도 점수 및 원시 코사인 유사도를 제공하여 답변합니다. 여러 상태를 동시에 처리할 수 있는 `decide_batch` 기능도 제공되며, 사용자가 특정 데이터에 맞게 모델의 온도를 조정할 수 있도록 하는 보정 기능도 있습니다.
MetaEncoder v1의 주요 장점은 내부 프롬프트 형식 처리로, 호출자가 수동으로 프롬프트를 작성할 필요가 없다는 점입니다. 래퍼는 입력이 훈련 중에 사용된 것과 정확히 동일하게 형식화되도록 보장하여 일관성을 유지하고 통합을 간소화합니다. 여기에는 시스템 및 사용자 턴, 이미지 및 비디오 인코딩, 풀링 처리 등이 포함됩니다. 고급 사용자는 사용자 정의 프롬프트 형식 및 풀링을 위해 래퍼를 우회하여 `modeling_metaencoder.py`에 직접 접근할 수 있어 유연성을 제공하면서도 모델의 핵심 기능을 활용할 수 있습니다.
- 카테고리AI 모델 및 LLM
- 배포클라우드
- 플랫폼Hugging Face
MetaEncoder v1 하이라이트
기능 추출 모델
280억 개의 매개변수
입력 임베딩 (encode)
쿼리에 대한 코퍼스 순위 매기기 (retrieve)
Jev 스타일 질문에 답하기 (decide)
텍스트, 이미지 및 비디오 입력 지원
내부 프롬프트 형식 처리
지침 기반 임베딩
배치 결정 처리
온도 조정을 위한 모델 보정
L2 정규화된 임베딩
수동 프롬프트 작성 불필요
transformers>=5.15와 호환
80GB GPU 필요 (bf16)
사용자 정의를 위한 모델링 직접 접근
MetaEncoder v1 시작하기
모델 접근: Hugging Face의 facebook/meta-encoder-v1 페이지로 이동합니다.
환경 설정: `transformers>=5.15`가 설치되어 있고 bf16 정밀도를 위한 80GB GPU가 준비되어 있는지 확인합니다.
입력 임베딩: `encode(inputs, instruction=None)` 호출을 사용하여 텍스트, 이미지 또는 비디오에 대한 임베딩을 생성합니다.
정보 검색: `retrieve(query, corpus, top_k=None, query_instruction=None, corpus_instruction=None)`를 활용하여 쿼리에 대한 코퍼스를 순위 매깁니다.
결정 내리기: `decide(state, questions, images=None, video=None)`를 사용하여 주어진 상태에 대한 구조화된 질문에 답합니다.
모델 보정: 정확도를 높이기 위해 `model.calibrate(answers, labels)`를 호출하여 레이블이 있는 데이터셋으로 온도를 조정합니다.
MetaEncoder v1의 사용 사례
- 정보 검색
- 데이터 클러스터링
- 의미 기반 검색
- 질문 응답 시스템
- 콘텐츠 이해
- 다중 모달 데이터 처리
- 결정 지원 시스템







