Deskripsi
WaveGlow adalah jaringan generatif berbasis aliran untuk sintesis suara, yang dikembangkan oleh peneliti NVIDIA Ryan Prenger, Rafael Valle, dan Bryan Catanzaro. Ini menggabungkan ide-ide dari Glow dan WaveNet untuk menghasilkan audio suara berkualitas tinggi dari mel-spectrogram, tanpa langkah dekoding autoregresif yang diandalkan oleh vocoder sebelumnya.
Baca Selengkapnya
Jaringan ini diimplementasikan sebagai satu model yang dilatih dengan satu fungsi biaya: memaksimalkan kemungkinan data pelatihan. Menurut makalah yang menyertainya, ini membuat pelatihan lebih sederhana dan lebih stabil dibandingkan pendekatan multi-tahap, dan implementasi PyTorch dilaporkan menghasilkan audio pada laju 1200 kHz di GPU NVIDIA V100, dengan skor opini rata-rata yang sebanding dengan implementasi WaveNet terbaik yang tersedia untuk umum pada saat itu.
Repositori menyediakan semua yang diperlukan untuk mereproduksi atau membangun di atas karya ini. Sebuah checkpoint WaveGlow yang telah dilatih sebelumnya dan file mel-spectrogram yang sesuai tersedia untuk menjalankan inferensi segera, menggunakan skrip inference.py untuk mensintesis audio dari daftar file mel-spectrogram. Untuk melatih model baru, repositori ini menyertakan skrip yang dibangun di sekitar format dataset LJ Speech: daftar file dibagi menjadi set pelatihan dan pengujian, mel-spectrogram dihasilkan dengan mel2samp.py, dan pelatihan dilakukan melalui train.py, dengan distributed.py tersedia untuk pengaturan multi-GPU. Pelatihan presisi campuran (fp16) dapat diaktifkan melalui file konfigurasi model. Skrip konversi terpisah, convert_model.py, memperbarui checkpoint yang lebih lama yang disimpan sebelum arsitektur saat ini untuk bekerja dengannya, karena versi saat ini menggabungkan koneksi residual dan skip ke dalam jaringan.
Pengaturan dimulai dengan mengkloning repositori dan menginisialisasi submodul git-nya, menginstal persyaratan Python, dan menginstal pustaka Apex dari NVIDIA, yang menjadi ketergantungan kode pelatihan dan inferensi. Karena proyek ini adalah rilis penelitian daripada aplikasi yang dikemas, menggunakannya berarti bekerja langsung dengan skrip baris perintah ini daripada antarmuka grafis.
WaveGlow ditujukan untuk peneliti dan insinyur sintesis suara yang ingin memiliki implementasi vocoder referensi untuk menjalankan inferensi, melatih ulang pada data suara baru, atau membandingkan dengan pendekatan generatif lainnya seperti WaveNet. Sampel audio yang dihasilkan oleh model tersedia di situs web terkait proyek, dan makalah yang menyertainya mendokumentasikan evaluasi skor opini rata-rata yang digunakan untuk menilai kualitas audio.
- KategoriTeks ke Suara
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformNVIDIA Blackwell, DRIVE, Jetson, RTX
Fitur Inti WaveGlow
Menghasilkan audio suara secara langsung dari mel-spectrogram tanpa langkah dekoding autoregresif
Dilatih dengan satu fungsi biaya maksimum-likelihood
Mengirimkan checkpoint WaveGlow yang telah dilatih sebelumnya dan data mel-spectrogram yang sesuai untuk inferensi
Menyertakan skrip untuk melatih model baru pada format dataset LJ Speech
Mendukung pelatihan terdistribusi multi-GPU melalui NCCL
Mendukung pelatihan dan inferensi presisi campuran (fp16)
Menyertakan skrip konversi untuk memperbarui checkpoint yang lebih lama ke arsitektur saat ini
Melaporkan generasi audio pada 1200 kHz di GPU NVIDIA V100 sesuai dengan makalah yang menyertainya
Memulai dengan WaveGlow
Kloning repositori: Kloning NVIDIA/waveglow dan inisialisasi submodulnya.
Instal ketergantungan: Instal persyaratan Python dan pustaka Apex.
Dapatkan data: Unduh model WaveGlow yang telah dilatih sebelumnya dan mel-spectrogram contoh, atau dataset LJ Speech untuk melatih model Anda sendiri.
Jalankan inferensi: Hasilkan audio dari mel-spectrogram dengan inference.py.
Latih (opsional): Jalankan train.py, atau distributed.py untuk multi-GPU, pada dataset Anda sendiri.
Evaluasi output: Bandingkan kualitas audio yang dihasilkan dan sesuaikan pengaturan seperti fp16 atau parameter sigma.
Kasus Penggunaan WaveGlow
- Vokoding teks-ke-suara
- Penelitian vocoder
- Pelatihan suara kustom
