설명
NVIDIA NemotronLabs VoiceChat는 실시간 대화 상호작용을 위해 설계된 고급 AI 모델입니다. 이 모델은 스트리밍 음성 이해와 생성을 단일 아키텍처 내에서 통합하는 전이중 음성 모델입니다. 이 모델은 여러 모델이나 API 핸드오프의 필요성을 없애 지연 시간을 크게 줄이고 대화의 자연스러운 흐름을 향상시킵니다.
더 읽기
이 모델은 오디오 신호에서 작동하며, 빠른 컨포머 모듈을 사용하여 인코딩됩니다. 이러한 오디오 토큰은 Nemotron Nano V2 9B LLM 백본에 의해 처리되어 텍스트 토큰을 예측하며, 이후 TTS 디코더에 공급되어 에이전트의 음성을 생성합니다. 도구 호출 스크립트를 예측하기 위해 별도의 출력 채널이 사용되며, 이는 자연스러운 대화 흐름을 유지하면서 도구 호출을 지원하는 최초의 개방형 전이중 모델입니다.
NVIDIA NemotronLabs VoiceChat는 자연어 처리 및 음성 기술 분야의 연구자, 개발자 및 전문가에게 특히 유용합니다. 자동 음성 인식, 텍스트-음성 합성 및 음성 비서 개발과 같은 응용 프로그램에 적합합니다. 이 모델은 NVIDIA GPU 가속 시스템에서 실행되도록 최적화되어 있으며, NVIDIA의 하드웨어 및 소프트웨어 프레임워크를 활용하여 더 빠른 훈련 및 추론 시간을 달성합니다.
이 모델의 아키텍처는 110억 개의 매개변수를 가진 하이브리드 Mamba/Transformer로, 지능과 지연 시간 간의 뛰어난 균형을 제공합니다. 글로벌 배포를 지원하며 OpenMDW 라이선스 계약 1.1에 의해 관리됩니다. 이 모델은 2026년 8월 3일에 출시되었으며, 실제 및 합성 음성 데이터를 포함한 다양한 데이터 세트에서 훈련되었습니다.
벤치마킹 결과는 이 모델의 능력을 강조하며, VoiceBench 및 Full-Duplex-Bench 1.0에서 개방형 전이중 모델 중 2위를 차지했습니다. 또한 Full-Duplex-Bench v3에서 도구 선택 정확도에서도 뛰어난 성능을 보입니다. 고급 기능에도 불구하고, 사용자는 광범위한 내부 테스트를 통해 확인된 알려진 제한 사항을 인지해야 합니다.
- 카테고리AI 모델 및 LLM
- 배포클라우드
- 플랫폼Linux
NVIDIA NemotronLabs VoiceChat 하이라이트
실시간 전이중 음성 모델
통합된 음성 이해 및 생성
단일 아키텍처로 지연 시간 감소
자연스러운 흐름으로 도구 호출 지원
NVIDIA GPU 시스템에 최적화
110억 개의 매개변수
하이브리드 Mamba/Transformer 아키텍처
글로벌 배포 지원
NVIDIA NemotronLabs VoiceChat 시작하기
모델 접근: Hugging Face 페이지 방문
인증: API 키 사용
환경 설정: NVIDIA GPU 구성
API를 통한 통합: WebSocket 인터페이스 사용
최적화: CUDA 라이브러리 활용
NVIDIA NemotronLabs VoiceChat의 사용 사례
- 음성 인식
- 음성 비서
- 텍스트-음성
- 도구 호출
- 실시간 상호작용
