설명
Audio8-TTS-Realistic-Air는 Edge0에서 개발한 고급 텍스트-음성 변환(TTS) 모델로, Hugging Face에서 사용할 수 있습니다. Audio8-TTS-Preview-0.6b를 기반으로 하여, 이 릴리스는 음성 현실감을 크게 향상시켜 보다 자연스러운 운율과 표현력 있는 전달을 제공하며, 6억 개의 매개변수를 유지하는 컴팩트한 아키텍처를 자랑합니다.
더 읽기
이 모델은 23개 언어를 지원하여 더 넓은 다국어 범위를 자랑합니다. 여기에는 Preview 버전의 11개 언어(광둥어, 중국어, 네덜란드어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 폴란드어, 스페인어)와 12개의 새로운 추가 언어(아랍어, 핀란드어, 힌디어, 인도네시아어, 말레이어, 노르웨이어, 포르투갈어, 러시아어, 스웨덴어, 태국어, 터키어, 베트남어)가 포함됩니다. 이전 모델과 동일한 Transformers 추론 인터페이스를 사용하여 개발자들이 접근할 수 있도록 합니다.
Audio8-TTS-Realistic-Air는 완전한 모델 체크포인트, 44.1 kHz 신경 오디오 코덱, 토크나이저, 프로세서 및 사용자 정의 Transformers 코드를 포함합니다. 참조 녹음 및 전사에서 제로샷 음성 클로닝을 제공하며, 참조 없이 음성을 생성할 수 있는 유연한 생성을 지원합니다. 사용자는 Hugging Face ZeroGPU에서 호스팅되는 대화형 Playground에서 이러한 기능을 실험할 수 있습니다.
고처리량 애플리케이션을 위해, 이 모델은 SGLang Omni 어댑터를 통한 GPU 서비스를 제공합니다. 이 어댑터는 페이지 주의, 동적 배치 및 OpenAI 호환 음성 API를 제공하여 효율적이고 확장 가능한 배포를 보장합니다. 모델의 아키텍처는 Fish Audio S2 Pro에서 영감을 받은 DualAR 디자인으로, 느린 AR 변환기가 의미 토큰을 예측하고 빠른 AR 변환기가 코덱 코드북을 예측합니다.
설치에는 Python 3.10 이상과 CUDA 지원 GPU가 필요합니다. 이 모델은 NVIDIA H20에서 PyTorch 2.8.0 및 Transformers 4.57.3로 스모크 테스트를 완료하였으며, 다양한 언어 생성 및 음성 클로닝을 포함합니다. 코드와 모델 가중치는 Apache License 2.0 하에 공개되어 있으며, 개방적 접근과 책임 있는 사용을 촉진합니다. 언어에 따라 품질이 다를 수 있지만, 이 모델은 현실적이고 다국어 텍스트-음성 변환 합성에서 중요한 진전을 나타냅니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Audio8-TTS-Realistic-Air 하이라이트
자연스러운 운율과 표현력 있는 전달로 향상된 음성 현실감
23개 언어를 지원하는 더 넓은 다국어 범위
601백만 개의 주요 모델 매개변수를 가진 컴팩트한 모델 아키텍처
참조 오디오 및 전사에서 제로샷 음성 클로닝 지원
참조 녹음 없이 음성 생성
고처리량을 위한 SGLang Omni 어댑터를 통한 GPU 서비스
OpenAI 호환 /v1/audio/speech API 지원
고급 오디오 처리를 위한 DualAR 아키텍처
번들된 44.1 kHz 신경 오디오 코덱
토크나이저, 프로세서 및 사용자 정의 Transformers 코드 포함
동적 배치 및 페이지 주의 지원
코드 및 모델 가중치에 대한 Apache License 2.0
음성 생성 및 음성 클로닝 테스트를 위한 대화형 Playground
Audio8-TTS-Realistic-Air 시작하기
모델 접근: Hugging Face의 Edge0/Audio8-TTS-Realistic-Air 페이지로 이동합니다.
환경 설정: Python 3.10 이상 및 CUDA 지원 GPU가 설치되어 있는지 확인합니다.
모델 로드: `trust_remote_code=True`와 함께 사용자 정의 Transformers 코드를 사용하여 모델을 로드합니다.
음성 생성: 프로세서를 사용하여 음성 생성을 위한 입력을 준비합니다.
음성 클로닝 수행: 깨끗한 참조 녹음과 그에 대한 정확한 전사를 제공하여 제로샷 음성 클로닝을 수행합니다.
추론 실행: 입력을 모델 장치로 이동하고 생성 및 디코딩 단계를 실행합니다.
서비스 배포: OpenAI 호환 API를 통한 고처리량 GPU 서비스를 위해 SGLang Omni 어댑터를 활용합니다.
Audio8-TTS-Realistic-Air의 사용 사례
- 자연스러운 음성 생성
- 다국어 콘텐츠 생성
- 제로샷 음성 클로닝
- 대화형 음성 애플리케이션
- 고처리량 오디오 서비스
- 연구 및 개발








