Description
Nemotron 3 Diarization est un modèle avancé de diarisation des locuteurs développé par NVIDIA, conçu pour déterminer avec précision 'qui a parlé quand' dans des scénarios audio réels. Ce modèle est capable de gérer jusqu'à huit locuteurs simultanément, ce qui le rend idéal pour des environnements audio complexes tels que les réunions, les podcasts et les conversations téléphoniques.
Lire la suite
Le modèle prend en charge à la fois l'inférence en streaming et hors ligne, offrant une flexibilité pour différents cas d'utilisation. L'inférence en streaming utilise le cache de locuteurs par ordre d'arrivée (AOSC) et une file d'attente FIFO pour maintenir les identités des locuteurs au fil du temps, garantissant des résultats de diarisation cohérents. L'architecture du modèle comprend un encodeur Transformer à 31 couches avec des embeddings positionnels rotatifs, qui traite des caractéristiques d'entrée de spectrogramme Mel de 10 ms.
Nemotron 3 Diarization est optimisé pour les systèmes accélérés par GPU NVIDIA, y compris les GPU NVIDIA Ampere, Ada Lovelace, Blackwell et Hopper. Il est intégré au cadre NeMo, permettant un déploiement sans faille dans les systèmes d'IA. Le modèle est entraîné sur un ensemble diversifié de jeux de données, y compris de vraies conversations et des mélanges audio simulés à plusieurs locuteurs, garantissant des performances robustes dans diverses conditions audio.
Le modèle est disponible pour un usage commercial et non commercial sous l'accord de licence OpenMDW, version 1.1. Il fournit une résolution de trame de sortie configurable et prend en charge l'inférence par morceaux, permettant des enregistrements sans durée maximale fixe. Nemotron 3 Diarization est un outil précieux pour les applications nécessitant une identification précise des locuteurs et un suivi de l'activité.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen Source
- DéploiementCloud
- PlateformesLinux
Points forts de Nemotron 3 Diarization
Prend en charge jusqu'à 8 locuteurs
Inférence en streaming et hors ligne
Architecture Transformer avec 31 couches
Embeddings positionnels rotatifs
Intégration avec le cadre NeMo
Optimisé pour les GPU NVIDIA
Résolution de trame de sortie configurable
Accord de licence OpenMDW
Premiers pas avec Nemotron 3 Diarization
Accéder au modèle : Visitez Hugging Face
Authentifier : Configurer le cadre NeMo
Configurer l'environnement : Installer les dépendances
Intégrer via API : Utiliser les pipelines NeMo
Optimiser : Configurer les paramètres de latence
Cas d'utilisation de Nemotron 3 Diarization
- Analyse de Réunion
- Production de Podcast
- Conversations Téléphoniques
- Reconnaissance Vocale
- Transcription Audio
