Beschreibung
NVIDIA Nemotron 3.5 Transcribe ist ein hochentwickeltes Modell zur automatischen Spracherkennung (ASR) mit 34 Milliarden Parametern (4,3 Milliarden aktiv) und einem Audio-Encoder. Seine Architektur ist ein Mamba-2–Transformer-Hybrid-Mischmodell von Experten, das mit einem parallelen Experten-Encoder für ASR und Sprechererkennung verbessert wurde. Das Modell ist auf hohe Genauigkeit, Anpassungsfähigkeit und Feinabstimmung ausgelegt, was es zu einem leistungsstarken Werkzeug für Entwickler und Forscher macht.
Weiterlesen
Dieses Modell unterstützt eine Vielzahl von Aufgaben, darunter wörtliche und schriftliche Transkription, kontextuelle Transkription, sprecherattributierte Transkription, reichhaltige Transkription, Sprachübersetzung, Spracherkennung und Audiofragenbeantwortung. Es beherrscht 40 Sprachen mit unterschiedlichen Qualitätsstufen von 'Führend' bis 'Unterstützt' in verschiedenen Regionen und Fähigkeiten wie ASR, Übersetzung, Mehrsprecher-ASR und Code-Switching.
Nemotron 3.5 Transcribe ist für den Einsatz auf NVIDIA-Hardware optimiert und benötigt speziell 1× H100 80 GB für optimale Leistung. Es unterstützt BF16-Präzision, mit FP8- und NVFP4-Varianten ebenfalls verfügbar. Das Modell kann Aufnahmen von bis zu 1 Stunde verarbeiten und hat eine Kontextlänge von 65.536 Tokens. Eingaben umfassen Audio (WAV, FLAC, MP3, OGG) und Text, wobei Textausgaben mit optionalen Wortzeitstempeln generiert werden.
Das Modell zeigt führende Leistungen in verschiedenen Benchmarks, einschließlich Mehrsprecher-ASR, Stilkontrolle, Englisch-ASR, Langform-ASR und mehrsprachigem ASR. Sein Eingabehandbuch bietet flexible Optionen für verschiedene Anwendungsfälle, wie das Erstellen von Forschungstranskripten, lesbarem Text für Untertitel, die Transkription von fachspezifischem Vokabular, die Identifizierung von Sprechern, die Übersetzung von Sprache und die Beantwortung von Fragen aus Audioaufnahmen.
NVIDIA Nemotron 3.5 Transcribe ist unter OpenMDW-1.1 lizenziert, was klare Nutzungsbedingungen gewährleistet. Es ist für Entwickler und Forscher gedacht, die Sprach- und Audioanwendungen erstellen, die eine anwendungsspezifische Bewertung und Überprüfung erfordern. Die robusten Fähigkeiten des Modells und die umfangreiche Sprachunterstützung machen es zu einer vielseitigen Lösung für komplexe Audioverarbeitungs- und Verständnisaufgaben.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenLinux, Windows
NVIDIA Nemotron 3.5 Transcribe im Überblick
34 Milliarden Parameter (4,3 Milliarden aktiv) mit Audio-Encoder
Mamba-2–Transformer-Hybrid-Mischarchitektur von Experten
Unterstützt BF16, FP8 und NVFP4-Präzision
Kontextlänge von 65.536 Tokens für Aufnahmen von bis zu 1 Stunde
Verarbeitet Audio- und Texteingaben, gibt Text mit optionalen Wortzeitstempeln aus
Unterstützt 40 Sprachen für Transkription und Übersetzung
Führt wörtliche und schriftliche Transkription durch
Bietet kontextuelle und sprecherattributierte Transkription
Umfasst reichhaltige Transkriptions- und Sprachübersetzungsfähigkeiten
Verfügt über Spracherkennung und Audiofragenbeantwortung
Optimiert für den Einsatz auf NVIDIA H100 80 GB Hardware
Native Multi-Token-Vorhersage (MTP) für spekulatives Decoding
Konfigurierbarer Denkmodus über Chat-Vorlage
Erreicht hohe Genauigkeit in mehreren ASR-Benchmarks
OpenMDW-1.1 Lizenz
Erste Schritte mit NVIDIA Nemotron 3.5 Transcribe
Zugriff auf das Modell: Erhalten Sie Zugriff auf das NVIDIA Nemotron 3.5 Transcribe-Modell über Hugging Face.
Umgebung einrichten: Konfigurieren Sie Ihre Umgebung mit der erforderlichen NVIDIA-Hardware (z. B. H100 80 GB) und Inferenzlaufzeiten (vLLM, Hugging Face Transformers).
Eingaben vorbereiten: Stellen Sie Audiodateien im WAV-, FLAC-, MP3- oder OGG-Format und/oder Textaufforderungen bereit.
Aufforderungen formulieren: Verwenden Sie empfohlene Aufforderungsstrukturen für spezifische Aufgaben wie wörtliche ASR, saubere Transkripte, Sprecherzuordnung oder Sprachübersetzung.
Anfrage senden: Senden Sie Anfragen an den Modellserver und geben Sie Decodierungsmodi und Denkoptionen an.
Ausgabe verarbeiten: Erhalten Sie generierte Textausgaben, die Transkripte, Übersetzungen, Sprecher-Tags oder Antworten auf Audiofragen enthalten können.
Software integrieren: Integrieren Sie das Modell in Anwendungen unter Verwendung unterstützter Architekturen und Betriebssysteme (Linux, Windows über WSL2).
NVIDIA Nemotron 3.5 Transcribe's Anwendungsfälle
- Forschungstranskripte
- Untertitel und Notizen
- Transkription technischer Diskussionen
- Überprüfungsworkflows für Besprechungen
- Diktat und Sprachschnittstellen
- Mehrsprachige Medienlokalisierung
- Audio-Suche und -Verständnis
- Code-Switching-Transkription
- Wiederherstellung strukturierter Werte
- Anfragen an gesprochene Assistenten







