説明
dots.tts.edit V1.1は、洗練された音声編集およびゼロショットテキスト音声合成(TTS)のために開発された高度な連続自己回帰モデルです。このモデルは、音声に対する詳細な制御を提供し、ユーザーが話者の声と周囲の音響環境の整合性を維持しながら、さまざまな修正を行うことを可能にします。
続きを読む
このモデルは、音声コンテンツを洗練させるために重要なテキストの置換、挿入、削除を含む包括的な編集操作をサポートします。基本的なテキスト操作を超えて、感情に対する局所的な制御を提供し、自由形式のスタイル記述を可能にすることで、音声の伝達に対する微妙な調整を実現します。ユーザーは、音程や話す速度を正確に制御し、ポーズを挿入または削減し、音声の強化や背景音声操作を適用できます。複数の編集操作を組み合わせることができるのも重要な機能であり、複雑な編集タスクに柔軟性を提供します。
dots.tts.edit V1.1は多言語対応で、英語と中国語の音声編集およびゼロショット合成をサポートしています。高品質の48 kHzオーディオを生成します。モデルのコアウェイトはBF16精度を利用し、話者エンコーダーとボコーダーは最適なパフォーマンスのためにFP32ウェイトを維持しています。音声編集のためのコマンドラインインターフェース(CLI)または、より統合されたアプリケーションのためのPython APIを介してモデルにアクセスできます。また、ローカルでの実験のためのインタラクティブなプレイグラウンドも含まれています。
インストールには、dots.ttsの最新のメインブランチと推奨される依存関係をインストールする必要があります。CLIには、ソースオーディオ、タグ付きの指示、および出力パスが必要で、オプションでソースおよびターゲットのトランスクリプトを指定できます。Python APIは、編集に対する詳細な制御のためのさまざまな構造タグをサポートしています。ゼロショットTTSのために、DotsTtsEditRuntimeは`generate`および`generate_stream`関数を提供します。
ユーザーはモデルを責任を持って使用することを推奨します。生成または編集された音声には、発音、タイミング、話者の類似性、または指示の遵守においてエラーが含まれる場合があります。モデルは、なりすまし、リスナーを誤解させること、同意を侵害すること、または違法なコンテンツを作成するために使用されるべきではありません。話者の声を使用するには明示的な同意が必要です。AI生成または編集された音声は、真の未修正の録音と誤解される可能性がある場合は、明確にAI生成または編集されたものであることを開示する必要があります。悪用は、モデルリポジトリのコミュニティディスカッションを通じて報告できます。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
dots.tts.editのハイライト
音声編集のための連続自己回帰モデル
ゼロショットテキスト音声合成
テキストの置換、挿入、削除
局所的な感情制御と自由形式のスタイル記述
音程と話す速度の制御
ポーズの挿入と削減
音声の強化と背景音声操作
複数の編集操作の構成
編集された領域の外で話者と音響コンテキストを保持
英語と中国語の音声編集および合成をサポート
48 kHzのオーディオ出力を生成
音声編集のためのコマンドラインインターフェース(CLI)
統合のためのPython API
ローカル編集プレイグラウンドが利用可能
BF16コアウェイトとFP32話者エンコーダーおよびボコーダー
dots.tts.editをはじめる
依存関係のインストール: dots.ttsの最新のメインブランチと推奨される依存関係をインストールします。
ソースオーディオの準備: 編集操作のためのソースオーディオを提供します。
指示の定義: テキスト、感情、音程、または速度制御を含む、希望する音声編集のためのタグ付き指示を作成します。
CLIコマンドの実行: ソースオーディオ、タグ付き指示、および出力パスを使用して音声編集CLIを実行します。
トランスクリプトのオーバーライド(オプション): 必要に応じて、--source-textおよび--target-textを使用して派生トランスクリプトをオーバーライドします。
話者ガイダンスの調整(オプション): --use-xvectorおよび--speaker-scaleパラメータを使用して話者ガイダンスを制御します。
Python APIを介して統合: <del>、<ins>、<emo>、<pitch>などの構造タグを使用してプログラム的に制御します。
ゼロショットTTSの生成: DotsTtsEditRuntimeの`generate`または`generate_stream`関数を使用してテキスト音声合成を行います。
dots.tts.editの使用例
- 音声コンテンツの洗練
- 感情とスタイルの調整
- 韻律制御
- 音声の強化
- ゼロショットTTS
- 多言語音声生成
- インタラクティブな音声実験







