설명
Youtu-Parsing-Omni는 문서 페이지, 자연 이미지, 차트, 순서도, 기하학적 도형, 오디오 클립 및 비디오를 포함한 광범위한 입력을 처리하도록 설계된 컴팩트한 다중 모드 파싱 모델입니다. 이 모델은 인식 및 인지 작업을 포함하는 구조화된 JSON 출력을 생성합니다. 인식 작업에는 레이아웃 요소, 텍스트, 표, 수식, 경계 상자, 타임스탬프, ASR, OCR, 음향 이벤트 및 카메라 움직임이 포함됩니다. 인지 작업은 캡션, 내러티브 및 보고서 생성을 포함합니다.
더 읽기
이 모델은 OmniSchema로 알려진 통합 스키마를 사용하여 다양한 작업에서 일관된 출력 형식을 제공합니다. 전통적인 픽셀 및 오디오에 대한 별도의 타워를 대체하는 단일 Youtu-Omni-Encoder를 특징으로 하여 텍스트 읽기 능력을 향상시킵니다. 이 모델은 사전 훈련된 텍스트 언어 모델에서 초기화되며, 픽셀과 로그-멜 프레임을 토큰으로 매핑하기 위해 얇은 모드별 줄기를 사용합니다. 공유 양방향 Transformer가 입력을 맥락화하고, 모드별 병합 및 프로젝터가 토큰을 Youtu-LLM 디코더에 전달합니다.
Youtu-Parsing-Omni는 작은 크기에도 불구하고 강력한 성능으로 알려져 있으며, OmniDocBench v1.6에서 최첨단 결과를 달성하고 OmniParsingBench에서 경쟁력 있는 결과를 기록합니다. 화학 구조 인식 및 음악 악보 인식과 같은 전문 작업에서 특히 효과적입니다. 이 모델은 vLLM 플러그인과 고정된 서비스 설정이 포함되어 있어 쉽게 제공할 수 있습니다.
모델의 오디오-비주얼 융합 기능은 인코더 내에서 교차 모드 정렬을 가능하게 하여 프레임과 오디오 청크가 시간 순서대로 처리되도록 합니다. 이 접근 방식은 동기화된 오디오 및 시각 요소가 포함된 비디오와 같은 복잡한 입력을 처리하는 모델의 능력을 향상시킵니다. Youtu-Parsing-Omni는 Hugging Face 및 ModelScope와 같은 플랫폼에서 다운로드할 수 있어, 강력한 파싱 솔루션을 찾는 개발자와 연구자에게 접근 가능합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Youtu-Parsing-Omni 하이라이트
다중 모드 파싱 모델
JSON 출력을 위한 통합 스키마
단일 Youtu-Omni-Encoder
최첨단 성능
오디오-비주얼 융합 기능
컴팩트한 모델 크기
vLLM 플러그인으로 쉽게 제공
다양한 입력 유형 지원
Youtu-Parsing-Omni 시작하기
모델 접근: Hugging Face 방문
인증: 자격 증명 설정
환경 설정: 종속성 설치
API를 통한 통합: 제공된 예제 사용
최적화: 성능을 위한 설정 조정
Youtu-Parsing-Omni의 사용 사례
- 문서 파싱
- 이미지 분석
- 차트 해석
- 오디오 처리
- 비디오 분석
