설명
NVIDIA Nemotron 3.5 Transcribe는 340억 개의 매개변수(4.3억 개 활성화)를 특징으로 하며 오디오 인코더를 통합한 정교한 자동 음성 인식(ASR) 모델입니다. 이 모델의 아키텍처는 Mamba-2–Transformer 하이브리드 전문가 혼합 언어 모델로, ASR 및 화자 인식을 위한 병렬 전문가 인코더로 강화되었습니다. 이 모델은 높은 정확성, 사용자 정의 및 미세 조정을 위해 설계되어 개발자와 연구자에게 강력한 도구가 됩니다.
더 읽기
이 모델은 문자 그대로의 전사 및 서면 형식 전사, 맥락 전사, 화자 속성 전사, 풍부한 전사, 음성 번역, 언어 식별 및 오디오 질문 응답을 포함한 다양한 작업을 지원합니다. 40개 언어에 능숙하며, ASR, 번역, 다중 화자 ASR 및 코드 스위칭과 같은 다양한 지역 및 기능에서 '주도'에서 '지원'까지의 품질 수준을 제공합니다.
Nemotron 3.5 Transcribe는 NVIDIA 하드웨어에 최적화되어 있으며, 최적의 성능을 위해 1× H100 80 GB가 필요합니다. BF16 정밀도를 지원하며, FP8 및 NVFP4 변형도 사용할 수 있습니다. 이 모델은 최대 1시간 길이의 녹음을 처리할 수 있으며, 65,536 토큰의 컨텍스트 길이를 가지고 있습니다. 입력에는 오디오(WAV, FLAC, MP3, OGG) 및 텍스트가 포함되며, 선택적으로 단어 타임스탬프가 포함된 텍스트 출력을 생성합니다.
이 모델은 다중 화자 ASR, 스타일 제어, 영어 ASR, 장기 ASR 및 다국어 ASR을 포함한 다양한 벤치마크에서 선도적인 성능을 보여줍니다. 그 프롬프트 가이드는 연구 전사 생성, 자막을 위한 가독성 있는 텍스트, 도메인 특정 어휘 전사, 화자 식별, 음성 번역 및 오디오 녹음에서 질문에 대한 응답과 같은 다양한 사용 사례에 대한 유연한 옵션을 제공합니다.
NVIDIA Nemotron 3.5 Transcribe는 OpenMDW-1.1 라이센스 하에 제공되어 명확한 사용 조건을 보장합니다. 이 모델은 응용 프로그램 특정 평가 및 검토가 필요한 음성 및 오디오 응용 프로그램을 구축하는 개발자와 연구자를 위해 설계되었습니다. 모델의 강력한 기능과 광범위한 언어 지원은 복잡한 오디오 처리 및 이해 작업을 위한 다재다능한 솔루션을 제공합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼Linux, Windows
NVIDIA Nemotron 3.5 Transcribe 하이라이트
34억 개의 매개변수(4.3억 개 활성화) 및 오디오 인코더
Mamba-2–Transformer 하이브리드 전문가 혼합 아키텍처
BF16, FP8 및 NVFP4 정밀도 지원
최대 1시간 녹음을 위한 65,536 토큰의 컨텍스트 길이
오디오 및 텍스트 입력 처리, 선택적 단어 타임스탬프가 포함된 텍스트 출력
전사 및 번역을 위한 40개 언어 지원
문자 그대로 및 서면 형식 전사 수행
맥락 및 화자 속성 전사 제공
풍부한 전사 및 음성 번역 기능 포함
언어 식별 및 오디오 질문 응답 기능
NVIDIA H100 80 GB 하드웨어 배포에 최적화
추측 디코딩을 위한 네이티브 다중 토큰 예측(MTP)
채팅 템플릿을 통한 구성 가능한 추론 모드
다양한 ASR 벤치마크에서 높은 정확성 달성
OpenMDW-1.1 라이센스
NVIDIA Nemotron 3.5 Transcribe 시작하기
모델 접근: Hugging Face를 통해 NVIDIA Nemotron 3.5 Transcribe 모델에 접근합니다.
환경 설정: 필요한 NVIDIA 하드웨어(예: H100 80 GB) 및 추론 런타임(vLLM, Hugging Face Transformers)으로 환경을 구성합니다.
입력 준비: WAV, FLAC, MP3 또는 OGG 형식의 오디오 파일 및/또는 텍스트 프롬프트를 제공합니다.
프롬프트 작성: 문자 그대로 ASR, 깨끗한 전사, 화자 속성 또는 음성 번역과 같은 특정 작업을 위한 권장 프롬프트 구조를 사용합니다.
요청 전송: 디코딩 모드 및 추론 설정을 지정하여 모델 서버에 요청을 전송합니다.
출력 처리: 생성된 텍스트 출력을 수신하며, 여기에는 전사, 번역, 화자 태그 또는 오디오 질문에 대한 답변이 포함될 수 있습니다.
소프트웨어 통합: 지원되는 아키텍처 및 운영 체제(Linux, WSL2를 통한 Windows)를 사용하여 모델을 응용 프로그램에 통합합니다.
NVIDIA Nemotron 3.5 Transcribe의 사용 사례
- 연구 전사
- 자막 및 노트
- 기술 논의 전사
- 회의 검토 워크플로
- 받아쓰기 및 음성 인터페이스
- 다국어 미디어 현지화
- 오디오 검색 및 이해
- 코드 스위칭 전사
- 구조화된 값 복구
- 음성 비서 요청







