Descripción
Nemotron 3 Diarization es un modelo avanzado de diarización de hablantes desarrollado por NVIDIA, diseñado para determinar con precisión 'quién habló cuándo' en escenarios de audio del mundo real. Este modelo es capaz de manejar hasta ocho hablantes simultáneamente, lo que lo hace ideal para entornos de audio complejos como reuniones, podcasts y conversaciones telefónicas.
Leer más
El modelo admite tanto inferencia en streaming como fuera de línea, proporcionando flexibilidad para diferentes casos de uso. La inferencia en streaming utiliza la Caché de Hablantes por Orden de Llegada (AOSC) y una cola FIFO para mantener las identidades de los hablantes a lo largo del tiempo, asegurando resultados de diarización consistentes. La arquitectura del modelo incluye un codificador Transformer de 31 capas con Embeddings Posicionales Rotatorios, que procesa características de entrada de espectrograma Mel de 10 ms.
Nemotron 3 Diarization está optimizado para sistemas acelerados por GPU de NVIDIA, incluyendo GPUs NVIDIA Ampere, Ada Lovelace, Blackwell y Hopper. Está integrado con el Marco NeMo, lo que permite un despliegue sin problemas en sistemas de IA. El modelo se entrena en un conjunto diverso de conjuntos de datos, incluyendo conversaciones reales y mezclas de audio simuladas de múltiples hablantes, asegurando un rendimiento robusto en diversas condiciones de audio.
El modelo está disponible para uso comercial y no comercial bajo el Acuerdo de Licencia OpenMDW, versión 1.1. Proporciona resolución de marco de salida configurable y admite inferencia en fragmentos, permitiendo grabaciones sin una duración máxima fija. Nemotron 3 Diarization es una herramienta valiosa para aplicaciones que requieren identificación precisa de hablantes y seguimiento de actividades.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasLinux
Aspectos destacados de Nemotron 3 Diarization
Soporta hasta 8 hablantes
Inferencia en streaming y fuera de línea
Arquitectura Transformer con 31 capas
Embeddings Posicionales Rotatorios
Integración con el Marco NeMo
Optimizado para GPUs NVIDIA
Resolución de marco de salida configurable
Acuerdo de Licencia OpenMDW
Primeros pasos con Nemotron 3 Diarization
Acceder al modelo: Visitar Hugging Face
Autenticarse: Configurar el Marco NeMo
Configurar el entorno: Instalar dependencias
Integrar a través de API: Usar tuberías de NeMo
Optimizar: Configurar ajustes de latencia
Casos de uso de Nemotron 3 Diarization
- Análisis de Reuniones
- Producción de Podcasts
- Conversaciones Telefónicas
- Reconocimiento de Voz
- Transcripción de Audio
