Beschreibung
Whistle ist ein Sprach-zu-Text-Modell, das von Cactus Compute entwickelt wurde und auf Hugging Face verfügbar ist. Es wurde für den Einsatz auf Mobilgeräten, tragbaren Geräten, Robotern, Smart-Home-Geräten, Automobilsystemen und Mikrocontrollern konzipiert. Das Modell ist kompakt, mit einer Dateigröße von 16,9 MB, und arbeitet auf demselben CPU-Engine wie Needle, wobei dieselben Container- und Quantisierungstechniken verwendet werden. Whistle erfüllt drei Hauptfunktionen: Transkription, Wortzeitstempel und Sprach-Embedding.
Weiterlesen
Die Transkriptionsfunktion verarbeitet 16 kHz Mono-Audio und unterstützt Englisch, Deutsch, Französisch, Spanisch, Italienisch, Niederländisch und Polnisch. Es kann Audio beliebiger Länge verarbeiten, führt eine einmalige Transkription bis zu 30 Sekunden durch und eine fensterbasierte Transkription darüber hinaus. Das Modell erkennt die Sprache automatisch, es sei denn, es wird eine andere angegeben, und gibt ein leeres Transkript für Stille zurück. Es kann auch Live-Audio-Streams transkribieren und Wörter, die in zwei Durchgängen vereinbart wurden, festhalten.
Wortzeitstempel bieten den Start, das Ende und die Wahrscheinlichkeit für jedes Wort, sodass Anwendungen basierend auf der Wortausrichtung hervorheben, suchen oder schneiden können. Die Sprach-Embedding-Funktion gibt Encoder-Ergebnisse für das Matching und die Abfrage zurück, ohne Transkripte zu dekodieren. Whistle umfasst eine Schlüsselwort-Biasierung, die Namen, Orte und Produktwörter während der Suchen bevorzugt.
Die Architektur von Whistle umfasst ein Log-Mel-Frontend, einen konvolutionalen Stamm und einen Audio-Encoder, mit einem Needle-förmigen Decoder, der gated cross attention verwendet. Es verwendet den Container, die Quantisierung, die SIMD-Kerne und den KV-Cache von Needle wieder, was eine nahtlose Integration mit Geräten ermöglicht, die bereits Needle ausführen. Das Modell unterstützt verschiedene Bereit vertiefungen, die zur Ladezeit auswählbar sind.
Benchmarks zeigen die Leistung von Whistle in Bezug auf die Wortfehlerquote, Geschwindigkeit und Präzision im Vergleich zu anderen Modellen wie Whisper und Moonshine. Das Python-Paket und der Quellcode sind auf GitHub verfügbar, was eine einfache Integration und Bereitstellung erleichtert. Whistle ist ideal für Entwickler, die eine robuste, mehrsprachige Sprach-zu-Text-Lösung für verschiedene Anwendungen suchen.
- KategorieKI-Modelle & LLMs
- PreismodellKostenlos
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
Whistle im Überblick
Mehrsprachige Transkription
Wortzeitstempel
Sprach-Embedding
Schlüsselwort-Biasierung
Log-Mel-Frontend
Konvolutionaler Stamm
Gated Cross Attention
Nahtlose Integration mit Needle
Erste Schritte mit Whistle
Modell zugreifen: Besuchen Sie Hugging Face
Authentifizieren: Richten Sie Anmeldeinformationen ein
Umgebung einrichten: Abhängigkeiten installieren
Über API integrieren: Verwenden Sie das Python-Paket
Optimieren: Passen Sie die Modellparameter an
Whistle's Anwendungsfälle
- Mobile Transkription
- Integration in tragbare Geräte
- Smart Home Automatisierung
- Automotive Sprachverarbeitung
- Mikrocontroller-Anwendungen
