설명
Nemotron 3 Diarization은 NVIDIA에서 개발한 고급 화자 분리 모델로, 실제 오디오 시나리오에서 '누가 언제 말했는지'를 정확하게 결정하도록 설계되었습니다. 이 모델은 최대 8명의 화자를 동시에 처리할 수 있어 회의, 팟캐스트 및 전화 통화와 같은 복잡한 오디오 환경에 적합합니다.
더 읽기
이 모델은 스트리밍 및 오프라인 추론을 지원하여 다양한 사용 사례에 유연성을 제공합니다. 스트리밍 추론은 Arrival-Order Speaker Cache (AOSC)와 FIFO 큐를 활용하여 시간에 따라 화자 신원을 유지하여 일관된 분리 결과를 보장합니다. 모델의 아키텍처는 31층 Transformer 인코더와 Rotary Positional Embeddings를 포함하여 10ms Mel-spectrogram 입력 특징을 처리합니다.
Nemotron 3 Diarization은 Ampere, Ada Lovelace, Blackwell 및 Hopper NVIDIA GPU를 포함한 NVIDIA GPU 가속 시스템에 최적화되어 있습니다. NeMo Framework와 통합되어 AI 시스템에서 원활하게 배포할 수 있습니다. 이 모델은 실제 대화 및 시뮬레이션된 다중 화자 오디오 혼합을 포함한 다양한 데이터 세트에서 훈련되어 다양한 오디오 조건에서 강력한 성능을 보장합니다.
이 모델은 OpenMDW 라이선스 계약 버전 1.1에 따라 상업적 및 비상업적 사용이 가능합니다. 구성 가능한 출력 프레임 해상도를 제공하며 고정 최대 지속 시간 없이 녹음을 지원하는 청크 추론을 지원합니다. Nemotron 3 Diarization은 정확한 화자 식별 및 활동 추적이 필요한 응용 프로그램에 유용한 도구입니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈 소스
- 배포클라우드
- 플랫폼Linux
Nemotron 3 Diarization 하이라이트
최대 8명의 화자 지원
스트리밍 및 오프라인 추론
31층 Transformer 아키텍처
Rotary Positional Embeddings
NeMo Framework와의 통합
NVIDIA GPU 최적화
구성 가능한 출력 프레임 해상도
OpenMDW 라이선스 계약
Nemotron 3 Diarization 시작하기
모델 접근: Hugging Face 방문
인증: NeMo Framework 설정
환경 설정: 종속성 설치
API를 통한 통합: NeMo 파이프라인 사용
최적화: 지연 설정 구성
Nemotron 3 Diarization의 사용 사례
- 회의 분석
- 팟캐스트 제작
- 전화 통화
- 음성 인식
- 오디오 전사
