Deskripsi
NVIDIA Nemotron 3.5 Bolt 74B adalah model bahasa besar yang canggih yang mengintegrasikan arsitektur hibrida Mamba-2–Transformer dengan pengkode visi C-RADIO v4-H. Model ini memiliki total 74 miliar parameter, dengan 9 miliar aktif, dan beroperasi dengan presisi BF16 untuk bobot presisi penuh. Model ini dapat menangani panjang konteks hingga 256K token, mendukung input teks, gambar, dan video, serta menghasilkan output teks. Model ini diterapkan pada perangkat keras NVIDIA Ampere, Hopper, atau Blackwell, memanfaatkan vLLM untuk operasi yang efisien.
Baca Selengkapnya
Model ini dioptimalkan untuk decoding spekulatif melalui drafter LiLiCorr melalui DFlash, menghasilkan tujuh token spekulatif dalam resep vLLM yang disediakan. Ini memiliki mode penalaran dengan kontrol template obrolan, diwarisi dari klien Super 3.5 VL, dan paling cocok untuk kustomisasi, pasca-pelatihan, dan membuat varian terkuantisasi untuk tugas agen lokal. Pengaturan sampling yang direkomendasikan untuk teks adalah suhu 1.0 dan top_p 0.95.
NVIDIA Nemotron 3.5 Bolt 74B dilisensikan di bawah OpenMDW-1.1, memastikan akses terbuka untuk pengembangan dan integrasi lebih lanjut. Model ini telah diuji melalui berbagai pengujian, termasuk GDPVal-AA-V2, Terminal-Bench 2.1, dan lainnya, menunjukkan metrik kinerja yang kompetitif. Model ini sangat efektif dalam tugas yang memerlukan interaksi alat multi-putaran dan telah menunjukkan peningkatan dalam kemampuan penggunaan MCP.
Metodologi pelatihan melibatkan beberapa lingkungan agenik dengan target E2E GRPO penuh yang menargetkan tugas MCP dan SWE. Fondasi model ini dibangun di atas korpus Nemotron 3, yang mencakup dataset seperti Nemotron-CC-v2 dan Nemotron-Pretraining-Code-v1, di antara lainnya. NVIDIA telah memastikan bahwa tidak ada data yang bersumber dari pengguna yang digunakan dalam pelatihan, menjaga privasi dan integritas data.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanNVIDIA Ampere, Hopper, Blackwell
- PlatformWeb
Sorotan NVIDIA Nemotron 3.5 Bolt 74B
Arsitektur hibrida Mamba-2–Transformer
Pengkode visi C-RADIO v4-H
74 miliar parameter
Presisi BF16
Panjang konteks hingga 256K token
Decoding spekulatif dengan drafter LiLiCorr
Mode penalaran dengan kontrol template obrolan
Lisensi OpenMDW-1.1
Memulai dengan NVIDIA Nemotron 3.5 Bolt 74B
Akses halaman model: Kunjungi halaman model Hugging Face untuk NVIDIA Nemotron 3.5 Bolt 74B.
Autentikasi: Pastikan Anda memiliki kredensial yang diperlukan untuk mengakses model.
Konfigurasi: Siapkan parameter dan lingkungan model sesuai kebutuhan Anda.
Kirim prompt: Masukkan data teks, gambar, atau video ke model untuk diproses.
Fine-tune: Kustomisasi model untuk tugas atau aplikasi tertentu.
Kasus Penggunaan NVIDIA Nemotron 3.5 Bolt 74B
- Kustomisasi
- Pasca-pelatihan
- Varian Terkuantisasi
- Interaksi Multi-putaran
- Pemrosesan Teks
