説明
NVIDIA NemotronLabs VoiceChatは、リアルタイムの会話型インタラクションのために設計された高度なAIモデルです。これは、ストリーミング音声理解と生成を単一のアーキテクチャ内で統合した全二重音声モデルです。このモデルは、複数のモデルやAPIのハンドオフを必要とせず、エンドツーエンドのレイテンシを大幅に削減し、会話の自然な流れを向上させます。
続きを読む
このモデルは音声信号で動作し、高速コンフォーマーモジュールを使用してエンコードされます。これらの音声トークンは、Nemotron Nano V2 9B LLMバックボーンによって処理され、テキストトークンを予測し、その後TTSデコーダーに供給されてエージェントの音声が生成されます。ツール呼び出しスクリプトを予測するために別の出力チャネルが使用されており、自然な会話の流れを維持しながらツール呼び出しをサポートする初のオープン全二重モデルとなっています。
NVIDIA NemotronLabs VoiceChatは、特に自然言語処理や音声技術の分野での研究者、開発者、専門家にとって有益です。自動音声認識、テキストから音声への合成、音声アシスタントの開発などのアプリケーションに適しています。このモデルは、NVIDIAのハードウェアおよびソフトウェアフレームワークを活用して、より速いトレーニングと推論時間を実現するよう最適化されています。
このモデルのアーキテクチャは、110億のパラメータを持つハイブリッドMamba/Transformerであり、知性とレイテンシの間で優れたトレードオフを提供します。グローバル展開をサポートし、OpenMDWライセンス契約バージョン1.1に従います。このモデルは2026年8月3日にリリースされ、実際の音声データと合成音声データの多様なデータセットでトレーニングされています。
ベンチマーク結果はその能力を強調しており、モデルはVoiceBenchおよびFull-Duplex-Bench 1.0でオープン全二重モデルの中で2位を達成しています。また、Full-Duplex-Bench v3でのツール選択精度にも優れています。高度な機能を持ちながらも、ユーザーは広範な内部テストを通じて特定された既知の制限に注意する必要があります。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームLinux
NVIDIA NemotronLabs VoiceChatのハイライト
リアルタイム全二重音声モデル
統合された音声理解と生成
単一アーキテクチャによるレイテンシの削減
自然な流れでのツール呼び出しをサポート
NVIDIA GPUシステム向けに最適化
110億のパラメータ
ハイブリッドMamba/Transformerアーキテクチャ
グローバル展開のサポート
NVIDIA NemotronLabs VoiceChatをはじめる
モデルにアクセス: Hugging Faceページを訪問
認証: APIキーを使用
環境設定: NVIDIA GPUを構成
API経由で統合: WebSocketインターフェースを使用
最適化: CUDAライブラリを活用
NVIDIA NemotronLabs VoiceChatの使用例
- 音声認識
- 音声アシスタント
- テキストから音声
- ツール呼び出し
- リアルタイムインタラクション
