Deskripsi
Whistle adalah model ucapan ke teks yang dikembangkan oleh Cactus Compute, tersedia di Hugging Face. Model ini dirancang untuk dijalankan di perangkat mobile, perangkat wearable, robot, perangkat rumah pintar, sistem otomotif, dan mikrokontroler. Model ini ringkas, dengan ukuran file 16,9 MB, dan beroperasi pada mesin CPU yang sama dengan Needle, memanfaatkan teknik kontainer dan kuantisasi yang sama. Whistle melakukan tiga fungsi utama: transkripsi, cap waktu kata, dan embedding ucapan.
Baca Selengkapnya
Fitur transkripsi memproses audio mono 16 kHz, mendukung bahasa Inggris, Jerman, Prancis, Spanyol, Italia, Belanda, dan Polandia. Model ini dapat menangani audio dengan panjang berapa pun, melakukan transkripsi satu kali hingga 30 detik dan transkripsi berbasis jendela di luar itu. Model ini secara otomatis mendeteksi bahasa kecuali jika ditentukan, dan mengembalikan transkrip kosong untuk keheningan. Model ini juga dapat mentranskripsikan aliran audio langsung, mencatat kata-kata yang disepakati melalui dua kali pengulangan.
Cap waktu kata memberikan waktu mulai, akhir, dan probabilitas untuk setiap kata, memungkinkan aplikasi untuk menyoroti, mencari, atau memotong berdasarkan penyelarasan kata. Fitur embedding ucapan mengeluarkan hasil pengkodean untuk pencocokan dan pengambilan tanpa mendekode transkrip. Whistle mencakup bias kata kunci, lebih mengutamakan nama, tempat, dan kata produk selama pencarian.
Arsitektur Whistle mencakup front end log-mel, batang konvolusional, dan pengkode audio, dengan dekoder berbentuk Needle menggunakan perhatian silang terkontrol. Model ini menggunakan kembali kontainer Needle, kuantisasi, kernel SIMD, dan cache KV, memungkinkan integrasi yang mulus dengan perangkat yang sudah menjalankan Needle. Model ini mendukung berbagai kedalaman penerapan, yang dapat dipilih saat waktu pemuatan.
Benchmark menunjukkan kinerja Whistle dalam hal tingkat kesalahan kata, kecepatan, dan presisi, dibandingkan dengan model lain seperti Whisper dan Moonshine. Paket Python dan kode sumber tersedia di GitHub, memfasilitasi integrasi dan penerapan yang mudah. Whistle sangat ideal untuk pengembang yang mencari solusi ucapan ke teks multibahasa yang kuat untuk berbagai aplikasi.
- KategoriModel AI & LLM
- Model HargaGratis
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Sorotan Whistle
Transkripsi multibahasa
Cap waktu kata
Embedding ucapan
Bias kata kunci
Front end log-mel
Batang konvolusional
Perhatian silang terkontrol
Integrasi mulus dengan Needle
Memulai dengan Whistle
Akses model: Kunjungi Hugging Face
Autentikasi: Siapkan kredensial
Siapkan lingkungan: Instal ketergantungan
Integrasi melalui API: Gunakan paket Python
Optimalkan: Sesuaikan parameter model
Kasus Penggunaan Whistle
- Transkripsi Mobile
- Integrasi Wearable
- Automasi Rumah Pintar
- Pengenalan Ucapan Otomotif
- Aplikasi Mikrokontroler
