Описание
Whistle — это модель распознавания речи, разработанная компанией Cactus Compute, доступная на Hugging Face. Она предназначена для работы на мобильных устройствах, носимых устройствах, роботах, умных домашних устройствах, автомобильных системах и микроконтроллерах. Модель компактна, размер файла составляет 16,9 МБ, и она работает на том же процессорном ядре, что и Needle, используя те же контейнеры и методы квантования. Whistle выполняет три основные функции: транскрипцию, временные метки слов и встраивание речи.
Читать далее
Функция транскрипции обрабатывает моно-аудио с частотой 16 кГц, поддерживая английский, немецкий, французский, испанский, итальянский, голландский и польский языки. Она может обрабатывать аудио любой длины, выполняя однопроходную транскрипцию до 30 секунд и оконную транскрипцию за пределами этого. Модель автоматически определяет язык, если не указано иное, и возвращает пустую транскрипцию для тишины. Она также может транскрибировать живые аудиопотоки, фиксируя слова, согласованные за два прохода.
Временные метки слов предоставляют начало, конец и вероятность для каждого слова, позволяя приложениям выделять, искать или обрезать на основе выравнивания слов. Функция встраивания речи выводит результаты кодировщика для сопоставления и извлечения без декодирования транскрипций. Whistle включает в себя смещение по ключевым словам, отдавая предпочтение именам, местам и словам продуктов во время поиска.
Архитектура Whistle включает в себя лог-мел фронт-энд, свёрточный стебель и аудиокодировщик, с декодером в форме Needle, использующим управляемое перекрестное внимание. Она повторно использует контейнер Needle, квантование, SIMD ядра и KV кеш, что позволяет бесшовную интеграцию с устройствами, уже работающими на Needle. Модель поддерживает различные уровни развертывания, которые можно выбрать во время загрузки.
Бенчмарки показывают производительность Whistle в терминах коэффициента ошибок слов, скорости и точности по сравнению с другими моделями, такими как Whisper и Moonshine. Пакет Python и исходный код доступны на GitHub, что облегчает интеграцию и развертывание. Whistle идеально подходит для разработчиков, ищущих надежное многоязычное решение для распознавания речи для различных приложений.
- КатегорияИИ-модели и LLM
- Модель ценообразованияБесплатно
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Главное о Whistle
Многоязычная транскрипция
Временные метки слов
Встраивание речи
Смещение по ключевым словам
Лог-мел фронт-энд
Свёрточный стебель
Управляемое перекрестное внимание
Бесшовная интеграция с Needle
Начало работы с Whistle
Доступ к модели: Посетите Hugging Face
Аутентификация: Настройте учетные данные
Настройка окружения: Установите зависимости
Интеграция через API: Используйте пакет Python
Оптимизация: Настройте параметры модели
Варианты использования Whistle
- Мобильная транскрипция
- Интеграция с носимыми устройствами
- Автоматизация умного дома
- Распознавание речи в автомобилях
- Приложения для микроконтроллеров
