Beschreibung
NVIDIA NemotronLabs VoiceChat ist ein fortschrittliches KI-Modell, das für Echtzeit-Konversationsinteraktionen entwickelt wurde. Es handelt sich um ein Vollduplex-Sprachmodell, das Streaming-Sprachverständnis und -erzeugung innerhalb einer einzigen Architektur integriert. Dieses Modell beseitigt die Notwendigkeit für mehrere Modelle oder API-Übergaben, was die End-to-End-Latenz erheblich reduziert und den natürlichen Fluss von Gesprächen verbessert.
Weiterlesen
Das Modell arbeitet mit Audiosignalen, die mit einem schnellen Conformer-Modul codiert werden. Diese Audio-Tokens werden dann vom Nemotron Nano V2 9B LLM-Rückgrat verarbeitet, um Text-Tokens vorherzusagen, die anschließend in einen TTS-Decoder eingespeist werden, um die Sprache des Agenten zu erzeugen. Ein separater Ausgangskanal wird verwendet, um Skripte für das Tool-Calling vorherzusagen, was es zum ersten offenen Vollduplex-Modell macht, das Tool-Calling unterstützt und gleichzeitig einen natürlichen Gesprächsfluss aufrechterhält.
NVIDIA NemotronLabs VoiceChat ist besonders vorteilhaft für Forscher, Entwickler und Fachleute in den Bereichen der natürlichen Sprachverarbeitung und Sprachtechnologie. Es eignet sich für Anwendungen wie automatische Spracherkennung, Text-zu-Sprache-Synthese und die Entwicklung von Sprachassistenten. Das Modell ist optimiert für den Betrieb auf NVIDIA GPU-beschleunigten Systemen und nutzt die Hardware- und Software-Frameworks von NVIDIA, um schnellere Trainings- und Inferenzzeiten zu erreichen.
Die Architektur des Modells ist eine hybride Mamba/Transformer-Architektur mit 11 Milliarden Parametern, die einen bemerkenswerten Kompromiss zwischen Intelligenz und Latenz bietet. Es unterstützt die globale Bereitstellung und unterliegt der OpenMDW-Lizenzvereinbarung, Version 1.1. Das Modell wurde am 3. August 2026 veröffentlicht und wurde auf einer Vielzahl von Datensätzen trainiert, einschließlich sowohl realer als auch synthetischer Sprachdaten.
Benchmarking-Ergebnisse heben seine Fähigkeiten hervor, wobei das Modell den zweiten Platz unter den offenen Vollduplex-Modellen auf VoiceBench und Full-Duplex-Bench 1.0 erreicht. Es zeichnet sich auch durch eine hohe Genauigkeit bei der Tool-Auswahl auf Full-Duplex-Bench v3 aus. Trotz seiner fortschrittlichen Fähigkeiten sollten die Benutzer sich der bekannten Einschränkungen bewusst sein, die durch umfangreiche interne Tests identifiziert wurden.
- KategorieKI-Modelle & LLMs
- BereitstellungCloud
- PlattformenLinux
NVIDIA NemotronLabs VoiceChat im Überblick
Echtzeit-Vollduplex-Sprachmodell
Integriertes Sprachverständnis und -erzeugung
Einfache Architektur reduziert die Latenz
Unterstützt Tool-Calling mit natürlichem Fluss
Optimiert für NVIDIA GPU-Systeme
11 Milliarden Parameter
Hybride Mamba/Transformer-Architektur
Unterstützung für globale Bereitstellung
Erste Schritte mit NVIDIA NemotronLabs VoiceChat
Modell zugreifen: Besuchen Sie die Hugging Face-Seite
Authentifizieren: Verwenden Sie den API-Schlüssel
Umgebung einrichten: Konfigurieren Sie die NVIDIA GPU
Integration über API: Verwenden Sie die WebSocket-Schnittstelle
Optimieren: Nutzen Sie CUDA-Bibliotheken
NVIDIA NemotronLabs VoiceChat's Anwendungsfälle
- Spracherkennung
- Sprachassistenten
- Text-zu-Sprache
- Tool-Calling
- Echtzeit-Interaktion
