설명
Fish Audio Drama 3는 Fish Audio의 최신 텍스트 음성 변환 모델로, 다중 캐릭터 장면과 장편 콘텐츠를 위해 특별히 설계되었습니다. 이 모델은 다중 화자 생성, 음성 복제 및 자연어 제어를 지원하여 사용자가 역동적이고 매력적인 오디오 제작을 할 수 있도록 합니다. 350억 개의 매개변수와 토큰당 30억 개의 활성 매개변수를 활용하여 MoE 텍스트 백본과 하이브리드 주의를 사용하여 고품질 음성 합성을 제공합니다.
더 읽기
이 모델은 전체 시퀀스에서 10개의 코드북을 인과적으로 디코딩하는 Codebook-MTP 오디오 디코더를 특징으로 하여 매끄럽고 일관된 오디오 출력을 보장합니다. 또한 FP8 MoE 전문가를 사용하고 나머지 가중치는 bf16으로 최적화하여 성능과 효율성을 극대화합니다. 사용자는 화자 태그를 사용하여 단일 텍스트에서 최대 16개의 서로 다른 캐릭터를 통합할 수 있어 오디오 스토리텔링의 유연성을 제공합니다.
Fish Audio Drama 3는 긴 텍스트를 자동으로 청크로 나누고 청크별로 스트리밍하여 긴 스크립트에 대한 사용성을 향상시킵니다. SGLang Omni와 함께 출시되어 원활한 통합 및 배포를 제공합니다. Drama 3 Cookbook은 설치, 배포 및 API 사용에 대한 자세한 지침을 제공하여 개발자와 오디오 제작자가 쉽게 접근할 수 있도록 합니다.
NVIDIA H200 GPU에서의 성능 지표는 높은 동시성 수준에서 초당 최대 1,687.3 프레임의 처리량을 보여주며, 모델은 낮은 첫 번째 오디오 시간(TTFA)과 유리한 실시간 요소(RTF)를 유지하여 빠르고 반응적인 오디오 생성을 보장합니다. 이 모델은 Fish Audio 커뮤니티 라이센스 하에 라이센스가 부여되어 개방형 접근과 협업을 촉진합니다.
- 카테고리텍스트 음성 변환
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Fish Audio Drama 3 하이라이트
다중 화자 생성
음성 복제
자연어 제어
350억 개의 매개변수
MoE 텍스트 백본
Codebook-MTP 오디오 디코더
FP8 MoE 전문가
자동 텍스트 청크화
Fish Audio Drama 3 시작하기
모델 접근: Hugging Face 방문
인증: API 키 사용
환경 설정: Cookbook 따르기
API를 통한 통합: 제공된 예제 사용
최적화: 성능을 위한 매개변수 조정
Fish Audio Drama 3의 사용 사례
- 오디오 제작
- 음성 복제
- 장편 내러티브
- 인터랙티브 스토리텔링
- 팟캐스팅
