説明
NVIDIA Nemotron 3.5 Bolt 74Bは、Mamba-2–TransformerハイブリッドアーキテクチャとC-RADIO v4-Hビジョンエンコーダーを統合した高度な大規模言語モデルです。合計740億のパラメータを持ち、そのうち90億がアクティブで、フルプレシジョンの重みを持つBF16精度で動作します。このモデルは、最大256Kトークンのコンテキスト長を処理でき、テキスト、画像、動画の入力をサポートし、テキスト出力を生成します。NVIDIAのAmpere、Hopper、またはBlackwellハードウェア上に展開され、効率的な操作のためにvLLMを利用しています。
続きを読む
このモデルは、DFlashを介してLiLiCorrドラフターによる投機的デコーディングに最適化されており、提供されたvLLMレシピで7つの投機的トークンを生成します。チャットテンプレートコントロールを備えた推論モードを特徴としており、Super 3.5 VLクライアントから継承されています。カスタマイズ、ポストトレーニング、ローカルエージェントタスクのための量子化バリアントの作成に最適です。テキストの推奨サンプリング設定は、温度1.0、top_p0.95です。
NVIDIA Nemotron 3.5 Bolt 74BはOpenMDW-1.1の下でライセンスされており、さらなる開発と統合のためのオープンアクセスを保証します。このモデルは、GDPVal-AA-V2、Terminal-Bench 2.1など、さまざまなテストでベンチマークされ、競争力のあるパフォーマンスメトリックを示しています。特にマルチターンツールインタラクションを必要とするタスクにおいて効果的であり、MCP使用能力の改善が見られました。
トレーニング方法論は、MCPおよびSWEタスクをターゲットとした完全なE2E GRPOを持つ複数のエージェント環境を含みます。このモデルの基盤は、Nemotron 3コーパスに構築されており、Nemotron-CC-v2やNemotron-Pretraining-Code-v1などのデータセットが含まれています。NVIDIAは、トレーニングにユーザー提供のデータが使用されていないことを保証し、プライバシーとデータの整合性を維持しています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイNVIDIA Ampere, Hopper, Blackwell
- プラットフォームWeb
NVIDIA Nemotron 3.5 Bolt 74Bのハイライト
Mamba-2–Transformerハイブリッドアーキテクチャ
C-RADIO v4-Hビジョンエンコーダー
740億のパラメータ
BF16精度
最大256Kトークンのコンテキスト長
LiLiCorrドラフターによる投機的デコーディング
チャットテンプレートコントロールを備えた推論モード
OpenMDW-1.1ライセンス
NVIDIA Nemotron 3.5 Bolt 74Bをはじめる
モデルページにアクセス: NVIDIA Nemotron 3.5 Bolt 74BのHugging Faceモデルページを訪問します。
認証: モデルにアクセスするために必要な資格情報を確認します。
設定: 必要に応じてモデルのパラメータと環境を設定します。
プロンプトを送信: モデルに処理するためのテキスト、画像、または動画データを入力します。
ファインチューニング: 特定のタスクやアプリケーションのためにモデルをカスタマイズします。
NVIDIA Nemotron 3.5 Bolt 74Bの使用例
- カスタマイズ
- ポストトレーニング
- 量子化バリアント
- マルチターンインタラクション
- テキスト処理
