描述
Whistle 是由 Cactus Compute 开发的语音转文本模型，托管在 Hugging Face 上。它旨在运行于移动设备、可穿戴设备、机器人、智能家居设备、汽车系统和微控制器上。该模型紧凑，文件大小为 16.9 MB，并在与 Needle 相同的 CPU 引擎上运行，利用相同的容器和量化技术。Whistle 执行三项主要功能：转录、单词时间戳和语音嵌入。
阅读更多
转录功能处理 16 kHz 单声道音频，支持英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语。它可以处理任意长度的音频，执行一次性转录最长可达 30 秒，超过该时长则进行窗口转录。该模型会自动检测语言，除非另有指定，并在静音时返回空转录。它还可以转录实时音频流，通过两次传递确认的单词进行记录。
单词时间戳提供每个单词的开始、结束和概率，允许应用程序根据单词对齐进行高亮、搜索或剪切。语音嵌入功能输出编码器结果，用于匹配和检索，而无需解码转录。Whistle 包含关键词偏向，在搜索时优先考虑名称、地点和产品词。
Whistle 的架构包括一个对数梅尔前端、一个卷积主干和一个音频编码器，使用门控交叉注意力的 Needle 形状解码器。它重用 Needle 的容器、量化、SIMD 内核和 KV 缓存，实现与已经运行 Needle 的设备的无缝集成。该模型支持多种部署深度，可在加载时选择。
基准测试表明 Whistle 在单词错误率、速度和精度方面的表现，与 Whisper 和 Moonshine 等其他模型相比。Python 包和源代码可在 GitHub 上获取，便于集成和部署。Whistle 非常适合寻求强大多语言语音转文本解决方案的开发者，适用于各种应用。
- 类别AI 模型与大语言模型
- 定价模式免费
- 部署云端, 自托管
- 平台网页版
Whistle亮点
多语言转录
单词时间戳
语音嵌入
关键词偏向
对数梅尔前端
卷积主干
门控交叉注意力
与 Needle 的无缝集成
Whistle入门
访问模型：访问 Hugging Face
身份验证：设置凭据
设置环境：安装依赖
通过 API 集成：使用 Python 包
优化：调整模型参数
Whistle的使用案例
- 移动转录
- 可穿戴设备集成
- 智能家居自动化
- 汽车语音识别
- 微控制器应用
