Description
Whistle est un modèle de reconnaissance vocale développé par Cactus Compute, disponible sur Hugging Face. Il est conçu pour fonctionner sur des mobiles, des appareils portables, des robots, des dispositifs domotiques, des systèmes automobiles et des microcontrôleurs. Le modèle est compact, avec une taille de fichier de 16,9 Mo, et fonctionne sur le même moteur CPU que Needle, utilisant les mêmes techniques de conteneur et de quantification. Whistle remplit trois fonctions principales : transcription, horodatage des mots et intégration vocale.
Lire la suite
La fonction de transcription traite l'audio mono à 16 kHz, prenant en charge l'anglais, l'allemand, le français, l'espagnol, l'italien, le néerlandais et le polonais. Il peut gérer des fichiers audio de n'importe quelle longueur, effectuant une transcription en un seul passage jusqu'à 30 secondes et une transcription par fenêtres au-delà de cela. Le modèle détecte automatiquement la langue, sauf indication contraire, et renvoie une transcription vide en cas de silence. Il peut également transcrire des flux audio en direct, validant les mots convenus par deux passages.
Les horodatages des mots fournissent le début, la fin et la probabilité pour chaque mot, permettant aux applications de mettre en surbrillance, de rechercher ou de couper en fonction de l'alignement des mots. La fonction d'intégration vocale produit des résultats d'encodeur pour le rapprochement et la récupération sans décoder les transcriptions. Whistle inclut un biais de mots-clés, favorisant les noms, les lieux et les mots de produits lors des recherches.
L'architecture de Whistle comprend un front-end log-mel, une tige convolutionnelle et un encodeur audio, avec un décodeur en forme de Needle utilisant une attention croisée régulée. Il réutilise le conteneur, la quantification, les noyaux SIMD et le cache KV de Needle, permettant une intégration transparente avec les appareils déjà fonctionnant avec Needle. Le modèle prend en charge diverses profondeurs de déploiement, sélectionnables au moment du chargement.
Les benchmarks indiquent la performance de Whistle en termes de taux d'erreur de mots, de vitesse et de précision, comparé à d'autres modèles comme Whisper et Moonshine. Le package Python et le code source sont disponibles sur GitHub, facilitant l'intégration et le déploiement. Whistle est idéal pour les développeurs à la recherche d'une solution robuste de reconnaissance vocale multilingue pour diverses applications.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireGratuit
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Points forts de Whistle
Transcription multilingue
Horodatages des mots
Intégration vocale
Biais de mots-clés
Front-end log-mel
Tige convolutionnelle
Attention croisée régulée
Intégration transparente avec Needle
Premiers pas avec Whistle
Accéder au modèle : Visitez Hugging Face
Authentifier : Configurer les identifiants
Configurer l'environnement : Installer les dépendances
Intégrer via API : Utiliser le package Python
Optimiser : Ajuster les paramètres du modèle
Cas d'utilisation de Whistle
- Transcription Mobile
- Intégration Portable
- Automatisation Domestique Intelligente
- Reconnaissance Vocale Automobile
- Applications Microcontrôleurs
