Descripción
NVIDIA NemotronLabs VoiceChat es un modelo de IA avanzado diseñado para interacciones conversacionales en tiempo real. Es un modelo de voz dúplex completo que integra la comprensión y generación de habla en una única arquitectura. Este modelo elimina la necesidad de múltiples modelos o transferencias de API, reduciendo significativamente la latencia de extremo a extremo y mejorando el flujo natural de las conversaciones.
Leer más
El modelo opera sobre señales de audio, que se codifican utilizando un módulo conformador rápido. Estos tokens de audio son procesados por la columna vertebral del LLM Nemotron Nano V2 9B para predecir tokens de texto, que luego se alimentan a un decodificador TTS para generar el habla del agente. Se utiliza un canal de salida separado para predecir scripts de llamada a herramientas, lo que lo convierte en el primer modelo dúplex completo abierto que admite la llamada a herramientas mientras mantiene un flujo de conversación natural.
NVIDIA NemotronLabs VoiceChat es particularmente beneficioso para investigadores, desarrolladores y profesionales en los campos del procesamiento del lenguaje natural y la tecnología del habla. Es adecuado para aplicaciones como el reconocimiento automático del habla, la síntesis de texto a voz y el desarrollo de asistentes de voz. El modelo está optimizado para funcionar en sistemas acelerados por GPU de NVIDIA, aprovechando los marcos de hardware y software de NVIDIA para lograr tiempos de entrenamiento e inferencia más rápidos.
La arquitectura del modelo es un híbrido Mamba/Transformer con 11 mil millones de parámetros, ofreciendo un notable equilibrio entre inteligencia y latencia. Soporta despliegue global y está regido por el Acuerdo de Licencia OpenMDW, versión 1.1. El modelo fue lanzado el 3 de agosto de 2026 y ha sido entrenado en un conjunto diverso de conjuntos de datos, incluyendo datos de habla reales y sintéticos.
Los resultados de las pruebas de referencia destacan sus capacidades, con el modelo alcanzando el segundo lugar entre los modelos dúplex completos abiertos en VoiceBench y Full-Duplex-Bench 1.0. También sobresale en la precisión de selección de herramientas en Full-Duplex-Bench v3. A pesar de sus capacidades avanzadas, los usuarios deben ser conscientes de las limitaciones conocidas identificadas a través de pruebas internas extensas.
- CategoríaModelos de IA y LLM
- ImplementaciónNube
- PlataformasLinux
Aspectos destacados de NVIDIA NemotronLabs VoiceChat
Modelo de voz dúplex completo en tiempo real
Comprensión y generación de habla integradas
Arquitectura única que reduce la latencia
Admite llamadas a herramientas con flujo natural
Optimizado para sistemas GPU de NVIDIA
11 mil millones de parámetros
Arquitectura híbrida Mamba/Transformer
Soporte para despliegue global
Primeros pasos con NVIDIA NemotronLabs VoiceChat
Acceder al modelo: Visitar la página de Hugging Face
Autenticarse: Usar la clave de API
Configurar el entorno: Configurar la GPU de NVIDIA
Integrar a través de API: Usar la interfaz WebSocket
Optimizar: Aprovechar las bibliotecas CUDA
Casos de uso de NVIDIA NemotronLabs VoiceChat
- Reconocimiento de Voz
- Asistentes de Voz
- Texto a Voz
- Llamada a Herramientas
- Interacción en Tiempo Real
