説明
Audio8-TTS-Realistic-Airは、Edge0によって開発された高度なテキスト読み上げ(TTS)モデルで、Hugging Faceで利用可能です。Audio8-TTS-Preview-0.6bを基にしており、このリリースは音声のリアリズムを大幅に改善し、より自然な韻律と表現力豊かな発音を提供しながら、コンパクトな6億パラメータのアーキテクチャを維持しています。
続きを読む
このモデルは、23言語をサポートする広範な多言語対応を誇ります。これには、プレビュー版からの11言語(広東語、中国語、オランダ語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポーランド語、スペイン語)と、12の新しい追加(アラビア語、フィンランド語、ヒンディー語、インドネシア語、マレー語、ノルウェー語、ポルトガル語、ロシア語、スウェーデン語、タイ語、トルコ語、ベトナム語)が含まれています。前モデルと同じTransformers推論インターフェースを利用しており、開発者にとってアクセスしやすくなっています。
Audio8-TTS-Realistic-Airには、完全なモデルチェックポイント、44.1 kHzのニューラルオーディオコーデック、トークナイザー、プロセッサ、カスタムTransformersコードが含まれています。ゼロショット音声クローンを参照録音とトランスクリプトから提供する柔軟な生成をサポートし、参照なしでの音声生成も可能です。ユーザーは、Hugging Face ZeroGPUでホストされるインタラクティブなプレイグラウンドでこれらの機能を試すことができます。
高スループットアプリケーション向けに、このモデルはSGLang Omniアダプターを介したGPUサービングを特徴としています。このアダプターは、ページングアテンション、動的バッチ処理、OpenAI互換の音声APIを提供し、効率的でスケーラブルなデプロイを確保します。モデルのアーキテクチャは、Fish Audio S2 Proに触発されたDualAR設計で、遅いARトランスフォーマーが意味トークンを予測し、速いARトランスフォーマーがコーデックのコードブックを予測します。
インストールにはPython 3.10以降とCUDA対応のGPUが必要です。このモデルは、NVIDIA H20上でPyTorch 2.8.0およびTransformers 4.57.3でスモークテストされており、さまざまな言語生成と音声クローンをカバーしています。コードとモデルの重みはApache License 2.0の下でリリースされており、オープンアクセスと責任ある使用を促進しています。言語によって品質は異なりますが、このモデルはリアルで多言語のテキスト読み上げ合成において重要な前進を示しています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
Audio8-TTS-Realistic-Airのハイライト
自然な韻律と表現力豊かな発音による音声のリアリズムの向上
23言語をサポートする広範な多言語対応
601百万のメインモデルパラメータを持つコンパクトなモデルアーキテクチャ
参照音声とトランスクリプトからのゼロショット音声クローン
参照録音なしでの音声生成
高スループットのためのSGLang OmniアダプターによるGPUサービング
OpenAI互換の/v1/audio/speech APIサポート
高度な音声処理のためのDualARアーキテクチャ
バンドルされた44.1 kHzのニューラルオーディオコーデック
トークナイザー、プロセッサ、カスタムTransformersコードを含む
動的バッチ処理とページングアテンションをサポート
コードとモデルの重みに対するApache License 2.0
音声生成と音声クローンのテスト用インタラクティブプレイグラウンド
Audio8-TTS-Realistic-Airをはじめる
モデルにアクセス: Hugging FaceのEdge0/Audio8-TTS-Realistic-Airページに移動します。
環境を設定: Python 3.10以上とCUDA対応のGPUがインストールされていることを確認します。
モデルをロード: `trust_remote_code=True`を使用してカスタムTransformersコードでモデルをロードします。
音声を生成: プロセッサを使用して音声生成のための入力を準備します。
音声クローンを実行: クリーンな参照録音とその正確なトランスクリプトを提供してゼロショット音声クローンを行います。
推論を実行: 入力をモデルデバイスに移動し、生成とデコーディングのステップを実行します。
サービングのためにデプロイ: OpenAI互換のAPIを使用して高スループットのGPUサービングのためにSGLang Omniアダプターを利用します。
Audio8-TTS-Realistic-Airの使用例
- リアルな音声生成
- 多言語コンテンツ作成
- ゼロショット音声クローン
- インタラクティブ音声アプリケーション
- 高スループットオーディオサービング
- 研究開発








