Deskripsi
NVIDIA Nemotron 3.5 Transcribe adalah model pengenalan suara otomatis (ASR) yang canggih, dengan 34 miliar parameter (4,3 miliar aktif) dan menggabungkan pengkode audio. Arsitekturnya adalah model bahasa hibrida Mamba-2–Transformer Mixture of Experts, yang ditingkatkan dengan Parallel Expert Encoder untuk ASR dan pengenalan pembicara.
Baca Selengkapnya
Model ini dirancang untuk akurasi tinggi, kustomisasi, dan fine-tuning, menjadikannya alat yang kuat bagi pengembang dan peneliti.
Model ini mendukung berbagai tugas, termasuk transkripsi kata demi kata dan bentuk tulisan, transkripsi kontekstual, transkripsi yang diatributkan kepada pembicara, transkripsi kaya, terjemahan suara, identifikasi bahasa, dan menjawab pertanyaan audio. Model ini mahir dalam 40 bahasa, dengan tingkat kualitas yang bervariasi dari 'Unggul' hingga 'Didukung' di berbagai lokasi dan kemampuan seperti ASR, terjemahan, ASR multi-pembicara, dan pengalihan kode.
Nemotron 3.5 Transcribe dioptimalkan untuk penerapan pada perangkat keras NVIDIA, khususnya memerlukan 1× H100 80 GB untuk kinerja optimal. Model ini mendukung presisi BF16, dengan varian FP8 dan NVFP4 juga tersedia. Model ini dapat memproses rekaman hingga 1 jam dan memiliki panjang konteks 65.536 token. Input termasuk audio (WAV, FLAC, MP3, OGG) dan teks, menghasilkan output teks dengan cap waktu kata opsional.
Model ini menunjukkan kinerja terdepan di berbagai tolok ukur, termasuk ASR multi-pembicara, kontrol gaya, ASR bahasa Inggris, ASR bentuk panjang, dan ASR multibahasa. Panduan prompt-nya menawarkan opsi fleksibel untuk berbagai kasus penggunaan, seperti menghasilkan transkrip penelitian, teks yang dapat dibaca untuk subtitle, mentranskripsi kosakata spesifik domain, mengidentifikasi pembicara, menerjemahkan suara, dan menjawab pertanyaan dari rekaman audio.
NVIDIA Nemotron 3.5 Transcribe dilisensikan di bawah OpenMDW-1.1, memastikan syarat penggunaan yang jelas. Model ini ditujukan untuk pengembang dan peneliti yang membangun aplikasi suara dan audio yang memerlukan evaluasi dan tinjauan spesifik aplikasi. Kemampuan kuat model ini dan dukungan bahasa yang luas menjadikannya solusi serbaguna untuk tugas pemrosesan dan pemahaman audio yang kompleks.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformLinux, Windows
Sorotan NVIDIA Nemotron 3.5 Transcribe
34 Miliar Parameter (4,3B aktif) dengan pengkode audio
Arsitektur hibrida Mamba-2–Transformer Mixture of Experts
Mendukung presisi BF16, FP8, dan NVFP4
Panjang konteks 65.536 token untuk rekaman hingga 1 jam
Memproses input audio dan teks, menghasilkan teks dengan cap waktu kata opsional
Mendukung 40 bahasa untuk transkripsi dan terjemahan
Melakukan transkripsi kata demi kata dan bentuk tulisan
Menawarkan transkripsi kontekstual dan yang diatributkan kepada pembicara
Termasuk kemampuan transkripsi kaya dan terjemahan suara
Memiliki identifikasi bahasa dan menjawab pertanyaan audio
Dioptimalkan untuk penerapan perangkat keras NVIDIA H100 80 GB
Prediksi Multi-Token Asli (MTP) untuk dekoding spekulatif
Mode penalaran yang dapat dikonfigurasi melalui template obrolan
Mencapai akurasi tinggi di berbagai tolok ukur ASR
Lisensi OpenMDW-1.1
Memulai dengan NVIDIA Nemotron 3.5 Transcribe
Akses Model: Dapatkan akses ke model NVIDIA Nemotron 3.5 Transcribe melalui Hugging Face.
Siapkan Lingkungan: Konfigurasikan lingkungan Anda dengan perangkat keras NVIDIA yang diperlukan (misalnya, H100 80 GB) dan runtime inferensi (vLLM, Hugging Face Transformers).
Siapkan Input: Sediakan file audio dalam format WAV, FLAC, MP3, atau OGG, dan/atau prompt teks.
Buat Prompt: Gunakan struktur prompt yang direkomendasikan untuk tugas spesifik seperti ASR kata demi kata, transkrip bersih, atribusi pembicara, atau terjemahan suara.
Kirim Permintaan: Kirim permintaan ke server model, dengan menentukan mode dekoding dan pengaturan penalaran.
Proses Output: Terima output teks yang dihasilkan, yang mungkin termasuk transkrip, terjemahan, tag pembicara, atau jawaban untuk pertanyaan audio.
Integrasikan Perangkat Lunak: Integrasikan model ke dalam aplikasi menggunakan arsitektur dan sistem operasi yang didukung (Linux, Windows melalui WSL2).
Kasus Penggunaan NVIDIA Nemotron 3.5 Transcribe
- Transkrip Penelitian
- Subtitle dan Catatan
- Transkripsi Diskusi Teknis
- Alur Kerja Tinjauan Rapat
- Diktasi dan Antarmuka Suara
- Lokalisasi Media Multibahasa
- Pencarian dan Pemahaman Audio
- Transkripsi Pengalihan Kode
- Pemulihan Nilai Terstruktur
- Permintaan Asisten Suara







