説明
Nemotron 3 ダイアライゼーションは、NVIDIAによって開発された高度なスピーカーダイアライゼーションモデルで、実際の音声シナリオにおいて「誰がいつ話したか」を正確に特定するように設計されています。このモデルは、最大8人のスピーカーを同時に処理できるため、会議、ポッドキャスト、電話会話などの複雑な音声環境に最適です。
続きを読む
このモデルは、ストリーミングおよびオフライン推論をサポートしており、さまざまなユースケースに柔軟に対応します。ストリーミング推論は、到着順スピーカーキャッシュ(AOSC)とFIFOキューを利用して、時間の経過とともにスピーカーのアイデンティティを維持し、一貫したダイアライゼーション結果を保証します。モデルのアーキテクチャには、31層のトランスフォーマーエンコーダーと回転位置埋め込みが含まれており、10msのメルスペクトログラム入力特徴を処理します。
Nemotron 3 ダイアライゼーションは、Ampere、Ada Lovelace、Blackwell、HopperのNVIDIA GPUを含む、NVIDIA GPU加速システム向けに最適化されています。NeMoフレームワークと統合されており、AIシステムへのシームレスな展開が可能です。このモデルは、実際の会話やシミュレーションされたマルチトーカー音声ミックスを含む多様なデータセットでトレーニングされており、さまざまな音声条件での堅牢なパフォーマンスを保証します。
このモデルは、OpenMDWライセンス契約(バージョン1.1)に基づいて商業用および非商業用に利用可能です。出力フレーム解像度を設定可能で、固定の最大持続時間のない録音をサポートするチャンク推論も可能です。Nemotron 3 ダイアライゼーションは、正確なスピーカー識別と活動追跡を必要とするアプリケーションにとって貴重なツールです。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームLinux
Nemotron 3 ダイアライゼーションのハイライト
最大8人のスピーカーをサポート
ストリーミングおよびオフライン推論
31層のトランスフォーマーアーキテクチャ
回転位置埋め込み
NeMoフレームワークとの統合
NVIDIA GPU向けに最適化
設定可能な出力フレーム解像度
OpenMDWライセンス契約
Nemotron 3 ダイアライゼーションをはじめる
モデルにアクセス: Hugging Faceを訪問
認証: NeMoフレームワークを設定
環境を設定: 依存関係をインストール
API経由で統合: NeMoパイプラインを使用
最適化: レイテンシ設定を構成
Nemotron 3 ダイアライゼーションの使用例
- 会議分析
- ポッドキャスト制作
- 電話会話
- 音声認識
- 音声文字起こし







