Descripción
Whistle es un modelo de reconocimiento de voz a texto desarrollado por Cactus Compute, disponible en Hugging Face. Está diseñado para funcionar en móviles, dispositivos portátiles, robots, dispositivos de hogar inteligente, sistemas automotrices y microcontroladores. El modelo es compacto, con un tamaño de archivo de 16.9 MB, y opera en el mismo motor de CPU que Needle, utilizando las mismas técnicas de contenedor y cuantización. Whistle realiza tres funciones principales: transcripción, marcas de tiempo de palabras e incrustación de voz.
Leer más
La función de transcripción procesa audio mono a 16 kHz, soportando inglés, alemán, francés, español, italiano, neerlandés y polaco. Puede manejar audio de cualquier longitud, realizando transcripción de un solo paso de hasta 30 segundos y transcripción en ventanas más allá de eso. El modelo detecta automáticamente el idioma a menos que se especifique, y devuelve una transcripción vacía para el silencio. También puede transcribir flujos de audio en vivo, comprometiendo palabras acordadas mediante dos pasadas.
Las marcas de tiempo de palabras proporcionan el inicio, el final y la probabilidad de cada palabra, permitiendo a las aplicaciones resaltar, buscar o cortar en función de la alineación de palabras. La función de incrustación de voz genera resultados de codificación para coincidencias y recuperación sin decodificar transcripciones. Whistle incluye sesgo de palabras clave, favoreciendo nombres, lugares y palabras de productos durante las búsquedas.
La arquitectura de Whistle incluye un front end log-mel, un tallo convolucional y un codificador de audio, con un decodificador en forma de Needle que utiliza atención cruzada con compuertas. Reutiliza el contenedor de Needle, cuantización, núcleos SIMD y caché KV, lo que permite una integración fluida con dispositivos que ya ejecutan Needle. El modelo soporta varias profundidades de implementación, seleccionables en el momento de la carga.
Los benchmarks indican el rendimiento de Whistle en términos de tasa de error de palabras, velocidad y precisión, en comparación con otros modelos como Whisper y Moonshine. El paquete de Python y el código fuente están disponibles en GitHub, facilitando la integración y el despliegue. Whistle es ideal para desarrolladores que buscan una solución robusta de reconocimiento de voz a texto multilingüe para diversas aplicaciones.
- CategoríaModelos de IA y LLM
- Modelo de preciosGratis
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Aspectos destacados de Whistle
Transcripción multilingüe
Marcas de tiempo de palabras
Incrustación de voz
Sesgo de palabras clave
Front end log-mel
Tallo convolucional
Atención cruzada con compuertas
Integración fluida con Needle
Primeros pasos con Whistle
Acceder al modelo: Visitar Hugging Face
Autenticarse: Configurar credenciales
Configurar el entorno: Instalar dependencias
Integrar a través de API: Usar paquete de Python
Optimizar: Ajustar parámetros del modelo
Casos de uso de Whistle
- Transcripción Móvil
- Integración Portátil
- Automatización del Hogar Inteligente
- Reconocimiento de Voz Automotriz
- Aplicaciones de Microcontroladores
