説明
NVIDIA Nemotron 3.5 Transcribeは、34億パラメータ(4.3億アクティブ)を特徴とし、音声エンコーダを組み込んだ高度な自動音声認識(ASR)モデルです。そのアーキテクチャは、Mamba-2–TransformerハイブリッドMixture of Experts言語モデルであり、ASRおよび話者認識のためのParallel Expert Encoderで強化されています。このモデルは、高精度、カスタマイズ、ファインチューニングを目的として設計されており、開発者や研究者にとって強力なツールとなっています。
続きを読む
このモデルは、逐語的および書面形式の文字起こし、文脈に基づく文字起こし、話者属性のある文字起こし、リッチ文字起こし、音声翻訳、言語識別、音声質問応答など、幅広いタスクをサポートしています。40言語に精通しており、ASR、翻訳、多話者ASR、コードスイッチングなどの異なるロケールや能力において、「リーディング」から「サポート」までのさまざまな品質レベルを提供します。
Nemotron 3.5 Transcribeは、NVIDIAハードウェアに最適化されており、最適なパフォーマンスを得るために1× H100 80 GBを必要とします。BF16精度をサポートし、FP8およびNVFP4バリアントも利用可能です。このモデルは、最大1時間の録音を処理でき、コンテキスト長は65,536トークンです。入力には音声(WAV、FLAC、MP3、OGG)およびテキストが含まれ、オプションの単語タイムスタンプ付きでテキスト出力を生成します。
このモデルは、マルチスピーカーASR、スタイルコントロール、英語ASR、長文ASR、マルチリンガルASRなど、さまざまなベンチマークで優れたパフォーマンスを示しています。そのプロンプトガイドは、研究用の文字起こし、キャプション用の読みやすいテキスト、ドメイン特有の語彙の文字起こし、話者の特定、音声の翻訳、音声録音からの質問への回答など、さまざまなユースケースに対して柔軟なオプションを提供します。
NVIDIA Nemotron 3.5 Transcribeは、OpenMDW-1.1の下でライセンスされており、明確な利用条件を保証します。これは、アプリケーション固有の評価とレビューを必要とする音声および音響アプリケーションを構築する開発者や研究者を対象としています。このモデルの強力な機能と広範な言語サポートは、複雑な音声処理および理解タスクに対する多用途なソリューションを提供します。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームLinux, Windows
NVIDIA Nemotron 3.5 Transcribeのハイライト
34億パラメータ(4.3Bアクティブ)および音声エンコーダを搭載
Mamba-2–TransformerハイブリッドMixture of Expertsアーキテクチャ
BF16、FP8、NVFP4精度をサポート
最大1時間の録音に対して65,536トークンのコンテキスト長
音声およびテキスト入力を処理し、オプションの単語タイムスタンプ付きでテキスト出力を生成
文字起こしおよび翻訳のために40言語をサポート
逐語的および書面形式の文字起こしを実施
文脈に基づく文字起こしおよび話者属性のある文字起こしを提供
リッチ文字起こしおよび音声翻訳機能を含む
言語識別および音声質問応答機能を搭載
NVIDIA H100 80 GBハードウェア展開に最適化
推測デコーディングのためのネイティブマルチトークン予測(MTP)
チャットテンプレートを介した構成可能な推論モード
複数のASRベンチマークで高精度を達成
OpenMDW-1.1ライセンス
NVIDIA Nemotron 3.5 Transcribeをはじめる
モデルへのアクセス: Hugging Faceを介してNVIDIA Nemotron 3.5 Transcribeモデルへのアクセスを取得します。
環境の設定: 必要なNVIDIAハードウェア(例: H100 80 GB)および推論ランタイム(vLLM、Hugging Face Transformers)で環境を構成します。
入力の準備: WAV、FLAC、MP3、またはOGG形式の音声ファイルおよび/またはテキストプロンプトを提供します。
プロンプトの作成: 逐語的ASR、クリーンな文字起こし、話者属性、または音声翻訳などの特定のタスクに対して推奨されるプロンプト構造を使用します。
リクエストの送信: モデルサーバーにリクエストを送信し、デコーディングモードおよび推論設定を指定します。
出力の処理: 生成されたテキスト出力を受け取り、文字起こし、翻訳、話者タグ、または音声質問への回答を含む場合があります。
ソフトウェアの統合: サポートされているアーキテクチャおよびオペレーティングシステム(Linux、WSL2経由のWindows)を使用して、アプリケーションにモデルを統合します。
NVIDIA Nemotron 3.5 Transcribeの使用例
- 研究用文字起こし
- キャプションとノート
- 技術的議論の文字起こし
- 会議レビューのワークフロー
- ディクテーションおよび音声インターフェース
- 多言語メディアのローカリゼーション
- 音声検索と理解
- コードスイッチングの文字起こし
- 構造化された値の回収
- 音声アシスタントリクエスト







