Description
NVIDIA NemotronLabs VoiceChat est un modèle d'IA avancé conçu pour des interactions conversationnelles en temps réel. C'est un modèle de parole en duplex intégral qui intègre la compréhension et la génération de la parole en continu au sein d'une seule architecture. Ce modèle élimine le besoin de plusieurs modèles ou de transferts d'API, réduisant ainsi considérablement la latence de bout en bout et améliorant le flux naturel des conversations.
Lire la suite
Le modèle fonctionne sur des signaux audio, qui sont encodés à l'aide d'un module conformer rapide. Ces jetons audio sont ensuite traités par le backbone Nemotron Nano V2 9B LLM pour prédire des jetons de texte, qui sont ensuite alimentés dans un décodeur TTS pour générer la parole de l'agent. Un canal de sortie séparé est utilisé pour prédire les scripts d'appel d'outils, ce qui en fait le premier modèle en duplex intégral ouvert à prendre en charge l'appel d'outils tout en maintenant un flux de conversation naturel.
NVIDIA NemotronLabs VoiceChat est particulièrement bénéfique pour les chercheurs, les développeurs et les professionnels dans les domaines du traitement du langage naturel et de la technologie de la parole. Il est adapté à des applications telles que la reconnaissance automatique de la parole, la synthèse de la parole à partir de texte et le développement d'assistants vocaux. Le modèle est optimisé pour fonctionner sur des systèmes accélérés par GPU NVIDIA, tirant parti des frameworks matériels et logiciels de NVIDIA pour atteindre des temps d'entraînement et d'inférence plus rapides.
L'architecture du modèle est un hybride Mamba/Transformer avec 11 milliards de paramètres, offrant un compromis remarquable entre intelligence et latence. Il prend en charge le déploiement mondial et est régi par l'OpenMDW License Agreement, version 1.1. Le modèle a été publié le 3 août 2026 et a été entraîné sur un ensemble diversifié de jeux de données, y compris des données de parole réelles et synthétiques.
Les résultats de benchmarking mettent en évidence ses capacités, le modèle atteignant la deuxième place parmi les modèles en duplex intégral ouverts sur VoiceBench et Full-Duplex-Bench 1.0. Il excelle également en précision de sélection d'outils sur Full-Duplex-Bench v3. Malgré ses capacités avancées, les utilisateurs doivent être conscients des limitations connues identifiées grâce à des tests internes approfondis.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesLinux
Points forts de NVIDIA NemotronLabs VoiceChat
Modèle de parole en temps réel et en duplex intégral
Compréhension et génération de la parole intégrées
Une seule architecture réduit la latence
Prend en charge l'appel d'outils avec un flux naturel
Optimisé pour les systèmes GPU NVIDIA
11 milliards de paramètres
Architecture hybride Mamba/Transformer
Prise en charge du déploiement mondial
Premiers pas avec NVIDIA NemotronLabs VoiceChat
Accéder au modèle : Visitez la page Hugging Face
S'authentifier : Utilisez la clé API
Configurer l'environnement : Configurer le GPU NVIDIA
Intégrer via l'API : Utilisez l'interface WebSocket
Optimiser : Tirer parti des bibliothèques CUDA
Cas d'utilisation de NVIDIA NemotronLabs VoiceChat
- Reconnaissance de la parole
- Assistants vocaux
- Synthèse vocale
- Appel d'outils
- Interaction en temps réel
