Descrição
Whistle é um modelo de fala para texto desenvolvido pela Cactus Compute, disponível no Hugging Face. Ele é projetado para rodar em dispositivos móveis, vestíveis, robôs, dispositivos de casa inteligente, sistemas automotivos e microcontroladores. O modelo é compacto, com um tamanho de arquivo de 16,9 MB, e opera no mesmo motor de CPU que o Needle, utilizando as mesmas técnicas de contêiner e quantização. Whistle desempenha três funções principais: transcrição, timestamps de palavras e incorporação de fala.
Ler mais
A funcionalidade de transcrição processa áudio mono a 16 kHz, suportando inglês, alemão, francês, espanhol, italiano, holandês e polonês. Ele pode lidar com áudio de qualquer comprimento, realizando transcrição em uma única passagem de até 30 segundos e transcrição em janelas além disso. O modelo detecta automaticamente o idioma, a menos que especificado, e retorna uma transcrição vazia para silêncio. Ele também pode transcrever fluxos de áudio ao vivo, comprometendo palavras acordadas em duas passagens.
Os timestamps de palavras fornecem o início, o fim e a probabilidade de cada palavra, permitindo que aplicativos destaquem, busquem ou cortem com base no alinhamento das palavras. A funcionalidade de incorporação de fala gera resultados do codificador para correspondência e recuperação sem decodificar transcrições. Whistle inclui viés de palavras-chave, favorecendo nomes, lugares e palavras de produtos durante as buscas.
A arquitetura do Whistle inclui uma frente log-mel, um tronco convolucional e um codificador de áudio, com um decodificador em forma de Needle usando atenção cruzada com portão. Ele reutiliza o contêiner, a quantização, os núcleos SIMD e o cache KV do Needle, permitindo uma integração perfeita com dispositivos que já executam o Needle. O modelo suporta várias profundidades de implantação, selecionáveis no momento do carregamento.
Os benchmarks indicam o desempenho do Whistle em termos de taxa de erro de palavras, velocidade e precisão, em comparação com outros modelos como Whisper e Moonshine. O pacote Python e o código-fonte estão disponíveis no GitHub, facilitando a integração e a implantação. Whistle é ideal para desenvolvedores que buscam uma solução robusta de fala para texto multilíngue para diversas aplicações.
- CategoriaModelos de IA e LLMs
- Modelo de preçosGrátis
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Destaques de Whistle
Transcrição multilíngue
Timestamps de palavras
Incorporação de fala
Viés de palavras-chave
Frente log-mel
Tronco convolucional
Atenção cruzada com portão
Integração perfeita com Needle
Primeiros passos com Whistle
Acessar modelo: Visite o Hugging Face
Autenticar: Configurar credenciais
Configurar ambiente: Instalar dependências
Integrar via API: Usar pacote Python
Otimizar: Ajustar parâmetros do modelo
Casos de uso de Whistle
- Transcrição Móvel
- Integração Vestível
- Automação de Casa Inteligente
- Reconhecimento de Fala Automotivo
- Aplicações de Microcontroladores
