Deskripsi
Fish Audio Drama 3 adalah model teks-ke-suara terbaru dari Fish Audio, yang secara khusus dirancang untuk adegan multi-karakter dan konten panjang. Model ini mendukung generasi multi-pembicara, kloning suara, dan kontrol bahasa alami, memungkinkan pengguna untuk menciptakan produksi audio yang dinamis dan menarik. Dengan 35 miliar parameter dan 3 miliar aktif per token, ia memanfaatkan backbone teks MoE dengan perhatian hibrida untuk memberikan sintesis suara berkualitas tinggi.
Baca Selengkapnya
Model ini dilengkapi dengan dekoder audio Codebook-MTP, yang mendekode 10 buku kode secara kausal di seluruh urutan, memastikan keluaran audio yang halus dan koheren. Ini juga menggunakan ahli MoE FP8 dengan bobot yang tersisa dalam bf16, mengoptimalkan kinerja dan efisiensi. Pengguna dapat menggabungkan hingga 16 karakter berbeda dalam satu teks menggunakan tag pembicara, memberikan fleksibilitas dalam penceritaan audio.
Fish Audio Drama 3 secara otomatis membagi teks panjang dan mengalirkannya per bagian, meningkatkan kegunaannya untuk naskah yang panjang. Ini diluncurkan dengan SGLang Omni, menawarkan integrasi dan penerapan yang mulus. Buku Masak Drama 3 menyediakan instruksi rinci untuk instalasi, penerapan, dan penggunaan API, menjadikannya dapat diakses oleh pengembang dan produser audio.
Metrik kinerja pada GPU NVIDIA H200 menunjukkan efisiensinya, dengan throughput hingga 1.687,3 frame per detik pada tingkat konkruensi tinggi. Model ini mempertahankan waktu rendah untuk audio pertama (TTFA) dan faktor waktu nyata (RTF) yang menguntungkan, memastikan generasi audio yang cepat dan responsif. Model ini dilisensikan di bawah Lisensi Komunitas Fish Audio, mempromosikan akses terbuka dan kolaborasi.
- KategoriTeks ke Suara
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Fish Audio Drama 3
Generasi multi-pembicara
Kloning suara
Kontrol bahasa alami
35B parameter
Backbone teks MoE
Dekoder audio Codebook-MTP
Ahli MoE FP8
Pembagian teks otomatis
Memulai dengan Fish Audio Drama 3
Akses model: Kunjungi Hugging Face
Autentikasi: Gunakan kunci API
Siapkan lingkungan: Ikuti Buku Masak
Integrasi melalui API: Gunakan contoh yang disediakan
Optimalkan: Sesuaikan parameter untuk kinerja
Kasus Penggunaan Fish Audio Drama 3
- Produksi Audio
- Kloning Suara
- Narasi Panjang
- Penceritaan Interaktif
- Podcasting
