Description
NVIDIA Nemotron 3.5 Transcribe est un modèle sophistiqué de reconnaissance automatique de la parole (ASR), doté de 34 milliards de paramètres (4,3 milliards actifs) et intégrant un encodeur audio. Son architecture est un modèle de langage hybride Mixture of Experts Mamba-2–Transformer, amélioré avec un encodeur expert parallèle pour l'ASR et la reconnaissance des locuteurs.
Lire la suite
Ce modèle prend en charge un large éventail de tâches, y compris la transcription verbatim et sous forme écrite, la transcription contextuelle, la transcription attribuée aux locuteurs, la transcription riche, la traduction de la parole, l'identification des langues et la réponse à des questions audio. Il est compétent dans 40 langues, avec des niveaux de qualité variant de « Leader » à « Supporté » selon les différentes localités et capacités telles que l'ASR, la traduction, l'ASR multilingue et le code-switching.
Nemotron 3.5 Transcribe est optimisé pour le déploiement sur le matériel NVIDIA, nécessitant spécifiquement 1× H100 80 Go pour des performances optimales. Il prend en charge la précision BF16, avec des variantes FP8 et NVFP4 également disponibles. Le modèle peut traiter des enregistrements d'une durée allant jusqu'à 1 heure et a une longueur de contexte de 65 536 tokens. Les entrées incluent l'audio (WAV, FLAC, MP3, OGG) et le texte, générant des sorties textuelles avec des horodatages de mots optionnels.
Le modèle démontre des performances de pointe dans divers benchmarks, y compris l'ASR multilingue, le contrôle de style, l'ASR en anglais, l'ASR long format et l'ASR multilingue. Son guide de prompt offre des options flexibles pour différents cas d'utilisation, tels que la génération de transcriptions de recherche, de texte lisible pour les sous-titres, la transcription de vocabulaire spécifique à un domaine, l'identification des locuteurs, la traduction de la parole et la réponse à des questions à partir d'enregistrements audio.
NVIDIA Nemotron 3.5 Transcribe est sous licence OpenMDW-1.1, garantissant des conditions d'utilisation claires. Il est destiné aux développeurs et aux chercheurs construisant des applications de parole et d'audio nécessitant une évaluation et une révision spécifiques à l'application. Les capacités robustes du modèle et son large support linguistique en font une solution polyvalente pour des tâches complexes de traitement et de compréhension audio.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesLinux, Windows
Points forts de NVIDIA Nemotron 3.5 Transcribe
34 milliards de paramètres (4,3 milliards actifs) avec encodeur audio
Architecture hybride Mixture of Experts Mamba-2–Transformer
Prend en charge la précision BF16, FP8 et NVFP4
Longueur de contexte de 65 536 tokens pour des enregistrements allant jusqu'à 1 heure
Traite les entrées audio et texte, génère du texte avec des horodatages de mots optionnels
Prend en charge 40 langues pour la transcription et la traduction
Effectue la transcription verbatim et sous forme écrite
Offre la transcription contextuelle et attribuée aux locuteurs
Inclut des capacités de transcription riche et de traduction de la parole
Fonctionnalités d'identification des langues et de réponse à des questions audio
Optimisé pour le déploiement sur matériel NVIDIA H100 80 Go
Prédiction multi-token native (MTP) pour le décodage spéculatif
Mode de raisonnement configurable via un modèle de chat
Atteint une grande précision dans plusieurs benchmarks ASR
Licence OpenMDW-1.1
Premiers pas avec NVIDIA Nemotron 3.5 Transcribe
Accéder au modèle : Obtenez l'accès au modèle NVIDIA Nemotron 3.5 Transcribe via Hugging Face.
Configurer l'environnement : Configurez votre environnement avec le matériel NVIDIA nécessaire (par exemple, H100 80 Go) et les temps d'exécution d'inférence (vLLM, Hugging Face Transformers).
Préparer les entrées : Fournissez des fichiers audio au format WAV, FLAC, MP3 ou OGG, et/ou des invites textuelles.
Formuler des invites : Utilisez les structures d'invite recommandées pour des tâches spécifiques telles que l'ASR verbatim, les transcriptions propres, l'attribution des locuteurs ou la traduction de la parole.
Envoyer la demande : Envoyez des demandes au serveur du modèle, en spécifiant les modes de décodage et les paramètres de raisonnement.
Traiter la sortie : Recevez les sorties textuelles générées, qui peuvent inclure des transcriptions, des traductions, des étiquettes de locuteurs ou des réponses à des questions audio.
Intégrer le logiciel : Intégrez le modèle dans des applications utilisant des architectures et des systèmes d'exploitation pris en charge (Linux, Windows via WSL2).
Cas d'utilisation de NVIDIA Nemotron 3.5 Transcribe
- Transcriptions de recherche
- Sous-titres et notes
- Transcription de discussions techniques
- Flux de travail de révision de réunions
- Dictée et interfaces vocales
- Localisation de médias multilingues
- Recherche et compréhension audio
- Transcription de code-switching
- Récupération de valeurs structurées
- Demandes d'assistant vocal







