설명
Whistle은 Cactus Compute에서 개발한 음성 인식 모델로, Hugging Face에서 사용할 수 있습니다. 이 모델은 모바일, 웨어러블, 로봇, 스마트 홈 장치, 자동차 시스템 및 마이크로컨트롤러에서 실행되도록 설계되었습니다. 모델의 파일 크기는 16.9 MB로 작고, Needle과 동일한 CPU 엔진에서 작동하며, 동일한 컨테이너 및 양자화 기술을 활용합니다. Whistle은 전사, 단어 타임스탬프 및 음성 임베딩의 세 가지 주요 기능을 수행합니다.
더 읽기
전사 기능은 16 kHz 모노 오디오를 처리하며, 영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 네덜란드어 및 폴란드를 지원합니다. 길이에 관계없이 오디오를 처리할 수 있으며, 30초까지는 한 번의 전사를 수행하고 그 이상은 윈도우 전사를 수행합니다. 모델은 지정되지 않는 한 언어를 자동으로 감지하며, 침묵에 대해서는 빈 전사를 반환합니다. 또한 실시간 오디오 스트림을 전사할 수 있으며, 두 번의 패스를 통해 합의된 단어를 기록합니다.
단어 타임스탬프는 각 단어의 시작, 끝 및 확률을 제공하여 애플리케이션이 단어 정렬에 따라 강조, 탐색 또는 잘라낼 수 있도록 합니다. 음성 임베딩 기능은 전사를 디코딩하지 않고도 매칭 및 검색을 위한 인코더 결과를 출력합니다. Whistle은 검색 시 이름, 장소 및 제품 단어를 선호하는 키워드 편향 기능을 포함합니다.
Whistle의 아키텍처는 로그-멜 전면, 컨볼루션 줄기 및 오디오 인코더를 포함하며, 게이티드 크로스 어텐션을 사용하는 Needle 모양의 디코더를 갖추고 있습니다. Needle의 컨테이너, 양자화, SIMD 커널 및 KV 캐시를 재사용하여 이미 Needle을 실행 중인 장치와의 원활한 통합을 가능하게 합니다. 모델은 로드 시 선택할 수 있는 다양한 배포 깊이를 지원합니다.
벤치마크 결과는 Whistle의 단어 오류율, 속도 및 정밀도 측면에서 Whisper 및 Moonshine과 같은 다른 모델과 비교한 성능을 나타냅니다. Python 패키지 및 소스 코드는 GitHub에서 제공되어 통합 및 배포를 용이하게 합니다. Whistle은 다양한 애플리케이션을 위한 강력한 다국어 음성 인식 솔루션을 찾는 개발자에게 이상적입니다.
- 카테고리AI 모델 및 LLM
- 요금제무료
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Whistle 하이라이트
다국어 전사
단어 타임스탬프
음성 임베딩
키워드 편향
로그-멜 전면
컨볼루션 줄기
게이티드 크로스 어텐션
Needle과의 원활한 통합
Whistle 시작하기
모델 접근: Hugging Face 방문
인증: 자격 증명 설정
환경 설정: 의존성 설치
API를 통한 통합: Python 패키지 사용
최적화: 모델 매개변수 조정
Whistle의 사용 사례
- 모바일 전사
- 웨어러블 통합
- 스마트 홈 자동화
- 자동차 음성 인식
- 마이크로컨트롤러 애플리케이션
