설명
Boson AI가 개발한 Higgs TTS 3는 텍스트를 표현력이 풍부한 대화형 음성으로 변환하도록 설계된 고급 텍스트-음성 변환 모델입니다. 100개 이상의 언어를 지원하며, 그 중 85개 언어에서 단어 오류율이 1자리 수에 달해 세련된 생산 품질의 애플리케이션에 적합합니다. 이 모델은 디지털 제작자에게 특히 유용하여, 제작자 사용 보조금 하에 팟캐스트, 비디오 및 소셜 미디어 게시물과 같은 콘텐츠를 무료로 제작하고 수익화할 수 있습니다. 이 보조금은 Boson AI의 Higgs Audio에 대한 출처 표기를 요구합니다.
더 읽기
모델의 아키텍처는 40억 개의 매개변수를 가진 자기 회귀 디코더를 포함하고 있으며, 이는 교차된 텍스트와 오디오 토큰을 처리합니다. Higgs Tokenizer를 사용하여 오디오를 초당 25프레임으로 8개의 코드북으로 인코딩하며, 이후 다중 코드북 융합 임베딩을 통해 백본 숨겨진 상태에 매핑됩니다. 출력 코드는 다시 파형으로 디코딩되어 고품질 오디오 출력을 제공합니다.
Higgs TTS 3는 생성된 음성에 대한 광범위한 제어 기능을 제공하며, 감정, 스타일, 운율 및 음향 효과를 포함합니다. 사용자는 발화 중간에 제어 토큰을 삽입하여 이러한 매개변수를 조정할 수 있어 미세하고 역동적인 음성 합성이 가능합니다. 이 모델은 제로샷 음성 복제를 지원하여 사용자가 높은 충실도로 음성을 복제할 수 있게 합니다.
이 모델은 Boson Higgs TTS 3 연구 및 비상업적 라이센스 하에 연구 및 비상업적 용도로 출시되었습니다. 제품에 모델을 포함하거나 재판매하는 등의 상업적 사용은 별도의 라이센스가 필요합니다. 이 모델은 비동의 음성 복제, 사칭 및 사기와 같은 비윤리적 사용을 금지합니다.
Higgs TTS 3는 다양한 벤치마크에서 평가되었으며, 단어 오류율 및 전반적인 품질 측면에서 이전 버전 및 다른 모델을 지속적으로 초월하고 있습니다. Boson AI API를 통해 통합할 수 있으며, 사용자는 효율적인 배포를 위해 SGLang-Omni 프로덕션 스택을 사용하여 모델을 제공할 수 있습니다.
- 카테고리텍스트 음성 변환
- 요금제Free for Creators
- 배포클라우드
- 플랫폼웹
Higgs TTS 3 하이라이트
102개 언어에 대한 다국어 지원
제로샷 음성 복제
감정 및 스타일 제어
운율 및 음향 효과 사용자 정의
40억 개 매개변수를 가진 자기 회귀 디코더
출처 표기를 통한 디지털 제작자 무료 사용
연구 및 비상업적 라이센스
고품질 오디오 출력
Higgs TTS 3 시작하기
모델 접근: Hugging Face 페이지 방문
인증: API 키 사용
환경 설정: 종속성 설치
API를 통한 통합: Boson AI API 사용
최적화: 원하는 출력을 위해 제어 토큰 조정
Higgs TTS 3의 사용 사례
- 팟캐스트 제작
- 비디오 내레이션
- 소셜 미디어 콘텐츠
- 언어 학습
- 접근성 도구
