Deskripsi
Audio8-TTS-Realistic-Air adalah model text-to-speech (TTS) canggih yang dikembangkan oleh Edge0, tersedia di Hugging Face. Membangun di atas Audio8-TTS-Preview-0.6b, rilis ini secara signifikan meningkatkan realisme ucapan, memberikan prosodi yang lebih alami dan penyampaian yang ekspresif, sambil mempertahankan arsitektur parameter 0,6 miliar yang kompak.
Baca Selengkapnya
Model ini memiliki cakupan multibahasa yang lebih luas, mendukung 23 bahasa. Ini mencakup 11 bahasa dari versi Preview (Kanton, Mandarin, Belanda, Inggris, Prancis, Jerman, Italia, Jepang, Korea, Polandia, Spanyol) dan 12 tambahan baru (Arab, Finlandia, Hindi, Indonesia, Melayu, Norwegia, Portugis, Rusia, Swedia, Thailand, Turki, Vietnam). Ini menggunakan antarmuka inferensi Transformers yang sama seperti pendahulunya, membuatnya dapat diakses oleh pengembang.
Audio8-TTS-Realistic-Air mencakup checkpoint model lengkap, codec audio neural 44,1 kHz, tokenizer, prosesor, dan kode Transformers kustom. Ini mendukung generasi yang fleksibel, menawarkan baik kloning suara zero-shot dari rekaman referensi dan transkrip, serta generasi ucapan tanpa referensi. Pengguna dapat bereksperimen dengan kemampuan ini di Playground interaktif yang dihosting di Hugging Face ZeroGPU.
Untuk aplikasi throughput tinggi, model ini memiliki penyajian GPU melalui adaptor SGLang Omni. Adaptor ini menyediakan perhatian berpaged, batching dinamis, dan API ucapan yang kompatibel dengan OpenAI, memastikan penyebaran yang efisien dan dapat diskalakan. Arsitektur model adalah desain DualAR, terinspirasi oleh Fish Audio S2 Pro, dengan transformer AR lambat yang memprediksi token semantik dan transformer AR cepat yang memprediksi buku kode codec.
Instalasi memerlukan Python 3.10 atau lebih baru dan GPU yang mendukung CUDA. Model ini telah diuji dengan PyTorch 2.8.0 dan Transformers 4.57.3 pada NVIDIA H20, mencakup berbagai generasi bahasa dan kloning suara. Kode dan bobot model dirilis di bawah Lisensi Apache 2.0, mempromosikan akses terbuka dan penggunaan yang bertanggung jawab. Meskipun kualitas bervariasi berdasarkan bahasa, model ini merupakan langkah maju yang signifikan dalam sintesis text-to-speech yang realistis dan multibahasa.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Audio8-TTS-Realistic-Air
Peningkatan realisme ucapan dengan prosodi alami dan penyampaian ekspresif
Cakupan multibahasa yang lebih luas mendukung 23 bahasa
Arsitektur model kompak dengan 601 juta parameter model utama
Kloning suara zero-shot dari audio referensi dan transkrip
Generasi ucapan tanpa rekaman referensi
Penyajian GPU dengan adaptor SGLang Omni untuk throughput tinggi
Dukungan API /v1/audio/speech yang kompatibel dengan OpenAI
Arsitektur DualAR untuk pemrosesan audio yang canggih
Codec audio neural 44,1 kHz yang terbundel
Termasuk tokenizer, prosesor, dan kode Transformers kustom
Mendukung batching dinamis dan perhatian berpaged
Lisensi Apache 2.0 untuk kode dan bobot model
Playground interaktif untuk menguji generasi ucapan dan kloning suara
Memulai dengan Audio8-TTS-Realistic-Air
Akses Model: Arahkan ke halaman Edge0/Audio8-TTS-Realistic-Air di Hugging Face.
Siapkan Lingkungan: Pastikan Python 3.10+ dan GPU yang mendukung CUDA terinstal.
Muat Model: Muat model menggunakan kode Transformers kustom dengan `trust_remote_code=True`.
Hasilkan Ucapan: Gunakan prosesor untuk menyiapkan input untuk generasi ucapan.
Lakukan Kloning Suara: Berikan rekaman referensi yang bersih dan transkripnya yang tepat untuk kloning suara zero-shot.
Jalankan Inferensi: Pindahkan input ke perangkat model dan eksekusi langkah generasi dan decoding.
Terapkan untuk Penyajian: Manfaatkan adaptor SGLang Omni untuk penyajian GPU throughput tinggi dengan API yang kompatibel dengan OpenAI.
Kasus Penggunaan Audio8-TTS-Realistic-Air
- Generasi Ucapan Realistis
- Pembuatan Konten Multibahasa
- Kloning Suara Zero-Shot
- Aplikasi Suara Interaktif
- Penyajian Audio Throughput Tinggi
- Penelitian dan Pengembangan








