説明
WhistleはCactus Computeによって開発された音声認識モデルで、Hugging Faceで利用可能です。モバイル、ウェアラブル、ロボット、スマートホームデバイス、自動車システム、マイクロコントローラーで動作するように設計されています。このモデルは16.9MBのファイルサイズでコンパクトであり、Needleと同じCPUエンジンで動作し、同じコンテナと量子化技術を利用しています。Whistleは主に3つの機能を提供します：文字起こし、単語のタイムスタンプ、音声埋め込み。
続きを読む
文字起こし機能は16kHzのモノラル音声を処理し、英語、ドイツ語、フランス語、スペイン語、イタリア語、オランダ語、ポーランド語をサポートします。任意の長さの音声を処理でき、30秒までの一回通過の文字起こしと、それを超える場合のウィンドウ化された文字起こしを行います。モデルは指定がない限り自動的に言語を検出し、無音の場合は空の文字起こしを返します。また、ライブ音声ストリームを文字起こしすることもでき、2回の通過で合意された単語を記録します。
単語のタイムスタンプは、各単語の開始、終了、および確率を提供し、アプリケーションが単語の整列に基づいてハイライト、シーク、またはカットできるようにします。音声埋め込み機能は、文字起こしをデコードすることなく、マッチングと検索のためのエンコーダーの結果を出力します。Whistleはキーワードバイアスを含み、検索中に名前、場所、製品名を優先します。
Whistleのアーキテクチャには、ログメルフロントエンド、畳み込みステム、音声エンコーダーが含まれ、ゲート付きクロスアテンションを使用したNeedle型デコーダーがあります。Needleのコンテナ、量子化、SIMDカーネル、およびKVキャッシュを再利用し、すでにNeedleを実行しているデバイスとのシームレスな統合を可能にします。このモデルは、ロード時に選択可能なさまざまなデプロイメントの深さをサポートします。
ベンチマークは、Whistleの単語誤り率、速度、精度に関する性能を示しており、WhisperやMoonshineなどの他のモデルと比較されています。PythonパッケージとソースコードはGitHubで利用可能で、簡単な統合とデプロイを促進します。Whistleは、多様なアプリケーション向けに堅牢な多言語音声認識ソリューションを求める開発者に最適です。
- カテゴリーAIモデルとLLM
- 料金モデル無料
- デプロイクラウド, セルフホスト
- プラットフォームWeb
Whistleのハイライト
多言語文字起こし
単語のタイムスタンプ
音声埋め込み
キーワードバイアス
ログメルフロントエンド
畳み込みステム
ゲート付きクロスアテンション
Needleとのシームレスな統合
Whistleをはじめる
モデルにアクセス: Hugging Faceを訪問
認証: 資格情報を設定
環境を設定: 依存関係をインストール
API経由で統合: Pythonパッケージを使用
最適化: モデルパラメータを調整
Whistleの使用例
- モバイル文字起こし
- ウェアラブル統合
- スマートホーム自動化
- 自動車音声認識
- マイクロコントローラーアプリケーション
