Deskripsi
SoundStorm adalah model AI canggih yang dirancang untuk generasi audio yang sangat efisien dan non-autoregresif. Model ini mengambil token semantik dari AudioLM sebagai input dan memanfaatkan perhatian dua arah (bidirectional attention) bersama dengan decoding paralel berbasis kepercayaan (confidence-based parallel decoding) untuk menghasilkan token bagi codec audio neural. Pendekatan ini secara signifikan mempercepat produksi audio, mencapai kecepatan dua tingkat besaran lebih cepat daripada generasi autoregresif AudioLM.
Baca Selengkapnya
Model ini unggul dalam menghasilkan audio dengan kualitas yang setara dan konsistensi yang lebih baik dalam suara dan kondisi akustik dibandingkan pendahulunya. Kemampuan utamanya adalah kemampuannya untuk menghasilkan audio 30 detik hanya dalam 0,5 detik pada TPU-v4. SoundStorm menunjukkan skalabilitas untuk urutan audio yang lebih panjang, memungkinkan sintesis segmen dialog alami berkualitas tinggi. Hal ini dicapai dengan mengkondisikan pada transkrip yang dianotasi dengan giliran pembicara dan prompt suara singkat dari pembicara yang diinginkan.
Ketika diintegrasikan dengan tahap pemodelan text-to-semantic seperti SPEAR-TTS, SoundStorm dapat mensintesis dialog yang terdengar alami. Pengguna dapat mengontrol secara tepat konten yang diucapkan melalui transkrip, suara pembicara melalui prompt singkat, dan alur percakapan melalui anotasi giliran pembicara. Misalnya, mensintesis segmen dialog 30 detik hanya membutuhkan waktu 2 detik pada satu TPU-v4, bahkan untuk teks dan pembicara yang tidak terlihat selama pelatihan.
SoundStorm juga menawarkan kemampuan untuk generasi audio tanpa prompt (unprompted) dan dengan prompt (prompted). Dalam skenario tanpa prompt, model ini mengambil sampel pembicara yang berbeda, sedangkan dalam kasus dengan prompt, model ini mempertahankan suara pembicara dengan fidelitas tinggi. Hal ini menjadikannya alat yang ampuh untuk berbagai tugas sintesis audio. Dibandingkan dengan metode dasar seperti AudioLM dan greedy decoding, SoundStorm menawarkan peningkatan konsistensi akustik dan pelestarian suara yang lebih baik dari prompt, bersama dengan kualitas audio yang lebih tinggi.
Pipeline generasi yang efisien dari model ini membuat penelitian dalam generasi audio lebih mudah diakses. Meskipun kemampuan meniru suara menimbulkan kekhawatiran tentang potensi penyalahgunaan, seperti peniruan identitas, langkah-langkah pengamanan sedang dikembangkan. Audio yang dihasilkan SoundStorm telah terbukti dapat dideteksi oleh classifier khusus, mengurangi beberapa risiko. Penelitian ini bertujuan untuk memajukan teknologi generasi audio secara bertanggung jawab.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan SoundStorm
Generasi audio non-autoregresif yang efisien
Menghasilkan audio dua tingkat besaran lebih cepat daripada AudioLM
Mempertahankan konsistensi tinggi dalam suara dan kondisi akustik
Mensintesis segmen dialog alami dengan kontrol pembicara
Menerima token semantik dari AudioLM sebagai input
Memanfaatkan perhatian dua arah dan decoding paralel berbasis kepercayaan
Skalabilitas untuk urutan audio yang lebih panjang
Mendukung sintesis dialog dengan kontrol atas konten, suara, dan giliran pembicara
Dapat menghasilkan audio dari model text-to-semantic
Menunjukkan konsistensi akustik tinggi dan pelestarian suara dalam generasi dengan prompt
Menghasilkan audio berkualitas lebih tinggi dibandingkan baseline greedy decoding
Memulai dengan SoundStorm
Akses model: Dapatkan akses ke model SoundStorm dan komponen terkaitnya.
Siapkan lingkungan: Konfigurasikan perangkat lunak dan perangkat keras yang diperlukan untuk menjalankan model.
Masukkan token semantik: Berikan token semantik yang dihasilkan oleh AudioLM ke SoundStorm.
Integrasi melalui API: Gunakan API model untuk integrasi yang mulus ke dalam pipeline generasi audio.
Berikan informasi pengkondisian: Sediakan transkrip, anotasi giliran pembicara, dan prompt suara untuk sintesis yang terkontrol.
Hasilkan audio: Jalankan proses generasi untuk menghasilkan representasi codec audio neural.
Dekode audio: Konversi representasi yang dihasilkan menjadi suara yang dapat didengar menggunakan codec audio neural.
Kasus Penggunaan SoundStorm
- Sintesis Dialog
- Kloning Suara
- Generasi Audio Cepat
- Sintesis Ucapan
- Pembuatan Konten Audio
- Alat Aksesibilitas
- Akselerasi Penelitian
