설명
dots.tts.edit V1.1은 정교한 음성 편집 및 제로샷 텍스트-음성(TTS) 합성을 위해 개발된 고급 연속 자기 회귀 모델입니다. 이 모델은 음성에 대한 세밀한 제어를 제공하여 사용자가 화자의 목소리와 주변 음향 환경의 무결성을 유지하면서 다양한 수정을 수행할 수 있도록 합니다.
더 읽기
이 모델은 음성 콘텐츠를 다듬는 데 중요한 텍스트 교체, 삽입 및 삭제를 포함한 포괄적인 편집 작업을 지원합니다. 기본 텍스트 조작을 넘어, 감정에 대한 지역적 제어를 제공하며, 자유 형식 스타일 설명을 가능하게 하여 음성 전달에 대한 미세 조정을 가능하게 합니다. 사용자는 또한 음조 및 말하기 속도를 정밀하게 제어하고, 일시 정지를 삽입하거나 줄이며, 음성 향상 또는 배경 오디오 작업을 적용할 수 있습니다. 여러 편집 작업의 조합은 복잡한 편집 작업을 위한 유연성을 제공합니다.
dots.tts.edit V1.1은 다국어를 지원하며, 영어와 중국어 음성 편집 및 제로샷 합성을 지원합니다. 고품질 48 kHz 오디오를 생성합니다. 모델의 핵심 가중치는 BF16 정밀도를 사용하며, 화자 인코더와 보코더는 최적의 성능을 위해 FP32 가중치를 유지합니다. 이 모델은 음성 편집을 위한 명령줄 인터페이스(CLI) 또는 보다 통합된 애플리케이션을 위한 Python API를 통해 접근할 수 있습니다. 또한 로컬 실험을 위한 대화형 놀이터를 포함합니다.
설치에는 dots.tts의 최신 메인 브랜치와 추천 종속성을 설치하는 것이 포함됩니다. CLI는 소스 오디오, 태그가 있는 지침 및 출력 경로가 필요하며, 선택적으로 소스 및 대상 전사본을 사용할 수 있습니다. Python API는 편집에 대한 세부 제어를 위한 다양한 구조적 태그를 지원합니다. 제로샷 TTS의 경우, DotsTtsEditRuntime은 `generate` 및 `generate_stream` 기능을 제공합니다.
사용자는 모델을 책임감 있게 사용할 것을 권장합니다. 생성되거나 편집된 음성은 발음, 타이밍, 화자 유사성 또는 지침 준수에서 오류가 발생할 수 있습니다. 모델은 사칭, 청취자를 오도하는 행위, 동의 위반 또는 불법 콘텐츠 생성을 위해 사용되어서는 안 됩니다. 화자의 목소리를 사용하는 데는 명시적인 동의가 필요합니다. 진짜로 오해할 수 있는 공개 공유 오디오는 AI 생성 또는 편집된 것으로 명확히 공개되어야 합니다. 오용은 모델 저장소의 커뮤니티 토론을 통해 신고할 수 있습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
dots.tts.edit 하이라이트
음성 편집을 위한 연속 자기 회귀 모델
제로샷 텍스트-음성 합성
텍스트 교체, 삽입 및 삭제
지역적 감정 제어 및 자유 형식 스타일 설명
음조 및 말하기 속도 제어
일시 정지 삽입 및 감소
음성 향상 및 배경 오디오 작업
여러 편집 작업의 조합
편집된 영역 외부의 화자 및 음향 맥락 유지
영어 및 중국어 음성 편집 및 합성 지원
48 kHz 오디오 출력 생성
음성 편집을 위한 명령줄 인터페이스(CLI)
통합을 위한 Python API
대화형 로컬 편집 놀이터 제공
FP32 화자 인코더 및 보코더가 있는 BF16 핵심 가중치
dots.tts.edit 시작하기
종속성 설치: dots.tts의 최신 메인 브랜치와 추천 종속성을 설치합니다.
소스 오디오 준비: 편집 작업을 위한 소스 오디오를 제공합니다.
지침 정의: 텍스트, 감정, 음조 또는 속도 제어를 포함한 원하는 음성 편집을 위한 태그가 있는 지침을 생성합니다.
CLI 명령 실행: 소스 오디오, 태그가 있는 지침 및 출력 경로와 함께 음성 편집 CLI를 사용합니다.
전사본 재정의(선택 사항): 필요 시 --source-text 및 --target-text를 사용하여 파생된 전사본을 재정의합니다.
화자 안내 조정(선택 사항): --use-xvector 및 --speaker-scale 매개변수로 화자 안내를 제어합니다.
Python API를 통한 통합: <del>, <ins>, <emo>, <pitch>와 같은 구조적 태그를 사용하여 프로그래밍 방식으로 제어합니다.
제로샷 TTS 생성: 텍스트-음성 합성을 위해 DotsTtsEditRuntime의 `generate` 또는 `generate_stream` 기능을 사용합니다.
dots.tts.edit의 사용 사례
- 음성 콘텐츠 다듬기
- 감정 및 스타일 조정
- 운율 제어
- 오디오 향상
- 제로샷 TTS
- 다국어 음성 생성
- 대화형 음성 실험







