설명
NVIDIA Parakeet는 6억 개의 매개변수를 특징으로 하는 고급 자동 음성 인식(ASR) 모델로, 고품질 영어 전사를 제공하도록 설계되었습니다. 이 모델은 자동 구두점, 대문자 및 정확한 단어 수준의 타임스탬프 예측을 지원하여 대화형 AI, 음성 비서 및 전사 서비스와 같은 다양한 응용 프로그램에 적합합니다.
더 읽기
이 모델은 FastConformer 아키텍처를 기반으로 하며, TDT 디코더를 통합하고 전체 주의를 사용하여 훈련되었습니다. 이를 통해 최대 24분 길이의 오디오 세그먼트를 단일 패스로 효율적으로 전사할 수 있습니다. 이 모델은 배치 크기 128에서 HF-Open-ASR 리더보드에서 RTFx 3380을 달성하지만, 성능은 데이터 세트의 오디오 길이와 배치 크기에 따라 달라질 수 있습니다.
NVIDIA Parakeet는 CC-BY-4.0 라이선스에 따라 상업적 및 비상업적 사용을 위해 준비되어 있습니다. 이 모델은 NVIDIA GPU 가속 시스템에서 실행되도록 최적화되어 있으며, CPU 전용 솔루션에 비해 더 빠른 훈련 및 추론 시간을 위해 GPU 코어 및 CUDA 라이브러리와 같은 하드웨어와 소프트웨어 프레임워크를 활용합니다.
이 모델은 음성-텍스트 기능이 필요한 응용 프로그램을 구축하는 개발자, 연구자, 학계 및 산업을 위해 설계되었습니다. NeMo 툴킷을 사용하여 훈련되었으며, FastConformer SSL 체크포인트에서 초기화되고 고품질의 인간 전사 데이터로 미세 조정되었습니다. 훈련 데이터 세트에는 다양한 출처에서 수집된 약 12만 시간의 영어 음성 데이터가 포함되어 있습니다.
NVIDIA Parakeet는 다양한 신호 대 잡음 비율 및 전화 스타일 오디오 형식에서 강력한 성능을 보여줍니다. 이 모델은 Huggingface Open ASR 리더보드 데이터 세트를 사용하여 평가되며, 평균 6.05%의 단어 오류율(WER)을 달성합니다. 이 모델은 잡음에 강하도록 설계되었으며 다양한 유형의 오디오 입력에서 잘 작동합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼Linux
NVIDIA Parakeet ASR 모델 하이라이트
6억 개의 매개변수를 가진 ASR 모델
자동 구두점 및 대문자 지원
정확한 단어 수준의 타임스탬프 예측
구술 숫자 및 노래 가사에 대한 강력한 성능
TDT 디코더가 포함된 FastConformer 아키텍처
최대 24분 길이의 오디오 세그먼트 지원
HF-Open-ASR 리더보드에서 RTFx 3380
NVIDIA GPU 가속 시스템에 최적화됨
상업적 및 비상업적 사용 가능
CC-BY-4.0 라이선스
NVIDIA Parakeet ASR 모델 시작하기
페이지 접근: huggingface.co/nvidia/parakeet-tdt-0.6b-v2 방문
모델 로드: NeMo 툴킷을 사용하여 사전 훈련된 모델 로드
환경 구성: NVIDIA NeMo 및 PyTorch 설치
통합: 전사 작업을 위해 API 또는 CLI 사용
미세 조정: 추가 데이터 세트로 모델 사용자 정의
NVIDIA Parakeet ASR 모델의 사용 사례
- 대화형 AI
- 음성 비서
- 전사 서비스
- 자막 생성
- 음성 분석
