説明
フィッシュオーディオドラマ3は、フィッシュオーディオの最新のテキスト読み上げモデルで、特に複数のキャラクターシーンと長文コンテンツ向けに設計されています。このモデルは、マルチスピーカー生成、音声クローン、自然言語制御をサポートしており、ユーザーがダイナミックで魅力的なオーディオ制作を行うことを可能にします。350億のパラメータとトークンあたり30億のアクティブを持ち、ハイブリッドアテンションを使用したMoEテキストバックボーンを活用して、高品質な音声合成を提供します。
続きを読む
このモデルは、全シーケンスにわたって10のコードブックを因果的にデコードするCodebook-MTPオーディオデコーダーを特徴としており、スムーズで一貫したオーディオ出力を保証します。また、残りの重みをbf16で持つFP8 MoEエキスパートを採用しており、パフォーマンスと効率を最適化しています。ユーザーはスピーカータグを使用して、1つのテキスト内に最大16の異なるキャラクターを組み込むことができ、オーディオストーリーテリングに柔軟性を提供します。
フィッシュオーディオドラマ3は、長いテキストを自動的にチャンク化し、チャンクごとにストリーミングすることで、長いスクリプトの使用性を向上させます。SGLang Omniと共に起動され、シームレスな統合と展開を提供します。ドラマ3クックブックには、インストール、展開、API使用の詳細な手順が記載されており、開発者やオーディオプロデューサーにとってアクセスしやすくなっています。
NVIDIA H200 GPUでのパフォーマンスメトリクスは、その効率を示しており、高い同時実行レベルで最大1,687.3フレーム/秒のスループットを達成します。このモデルは、初回オーディオまでの時間(TTFA)が短く、好ましいリアルタイムファクター(RTF)を維持しており、迅速で応答性の高いオーディオ生成を保証します。このモデルはフィッシュオーディオコミュニティライセンスの下でライセンスされており、オープンアクセスとコラボレーションを促進しています。
- カテゴリーテキスト読み上げ
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
フィッシュオーディオドラマ3のハイライト
マルチスピーカー生成
音声クローン
自然言語制御
350億パラメータ
MoEテキストバックボーン
Codebook-MTPオーディオデコーダー
FP8 MoEエキスパート
自動テキストチャンク化
フィッシュオーディオドラマ3をはじめる
モデルにアクセス: Hugging Faceを訪問
認証: APIキーを使用
環境を設定: クックブックに従う
API経由で統合: 提供された例を使用
最適化: パフォーマンスのためにパラメータを調整
フィッシュオーディオドラマ3の使用例
- オーディオ制作
- 音声クローン
- 長文ナラティブ
- インタラクティブストーリーテリング
- ポッドキャスティング







