Deskripsi
NVIDIA NemotronLabs VoiceChat adalah model AI canggih yang dirancang untuk interaksi percakapan waktu nyata. Ini adalah model ucapan penuh-dupleks yang mengintegrasikan pemahaman dan generasi ucapan dalam satu arsitektur. Model ini menghilangkan kebutuhan akan beberapa model atau pengalihan API, secara signifikan mengurangi latensi end-to-end dan meningkatkan aliran percakapan yang alami.
Baca Selengkapnya
Model ini beroperasi pada sinyal audio, yang dikodekan menggunakan modul konformer cepat. Token audio ini kemudian diproses oleh backbone Nemotron Nano V2 9B LLM untuk memprediksi token teks, yang kemudian dimasukkan ke dalam dekoder TTS untuk menghasilkan ucapan agen. Saluran output terpisah digunakan untuk memprediksi skrip pemanggilan alat, menjadikannya model penuh-dupleks terbuka pertama yang mendukung pemanggilan alat sambil mempertahankan aliran percakapan yang alami.
NVIDIA NemotronLabs VoiceChat sangat bermanfaat bagi peneliti, pengembang, dan profesional di bidang pemrosesan bahasa alami dan teknologi ucapan. Ini cocok untuk aplikasi seperti pengenalan ucapan otomatis, sintesis teks-ke-ucapan, dan pengembangan asisten suara. Model ini dioptimalkan untuk dijalankan di sistem yang dipercepat GPU NVIDIA, memanfaatkan kerangka perangkat keras dan perangkat lunak NVIDIA untuk mencapai waktu pelatihan dan inferensi yang lebih cepat.
Arsitektur model ini adalah hibrida Mamba/Transformer dengan 11 miliar parameter, menawarkan kompromi yang luar biasa antara kecerdasan dan latensi. Ini mendukung penerapan global dan diatur oleh Perjanjian Lisensi OpenMDW, versi 1.1. Model ini dirilis pada 3 Agustus 2026, dan telah dilatih pada berbagai set data, termasuk data ucapan nyata dan sintetis.
Hasil benchmarking menyoroti kemampuannya, dengan model ini mencapai tempat kedua di antara model penuh-dupleks terbuka di VoiceBench dan Full-Duplex-Bench 1.0. Ini juga unggul dalam akurasi pemilihan alat di Full-Duplex-Bench v3. Meskipun memiliki kemampuan canggih, pengguna harus menyadari batasan yang diketahui yang diidentifikasi melalui pengujian internal yang ekstensif.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformLinux
Sorotan NVIDIA NemotronLabs VoiceChat
Model ucapan penuh-dupleks waktu nyata
Pemahaman dan generasi ucapan terintegrasi
Arsitektur tunggal mengurangi latensi
Mendukung pemanggilan alat dengan aliran alami
Dioptimalkan untuk sistem GPU NVIDIA
11 miliar parameter
Arsitektur hibrida Mamba/Transformer
Dukungan penerapan global
Memulai dengan NVIDIA NemotronLabs VoiceChat
Akses model: Kunjungi halaman Hugging Face
Autentikasi: Gunakan kunci API
Siapkan lingkungan: Konfigurasi GPU NVIDIA
Integrasi melalui API: Gunakan antarmuka WebSocket
Optimalkan: Manfaatkan pustaka CUDA
Kasus Penggunaan NVIDIA NemotronLabs VoiceChat
- Pengenalan Ucapan
- Asisten Suara
- Teks-ke-Ucapan
- Pemanggilan Alat
- Interaksi Waktu Nyata
