Deskripsi
Granite Switch 4.1 30B adalah model bahasa besar modular (LLM) yang canggih yang dikembangkan oleh IBM, tersedia di Hugging Face. Model ini dirancang untuk memberikan solusi yang serbaguna untuk berbagai tugas AI dengan menggabungkan model dasar dengan 30 miliar parameter, adaptor khusus, dan encoder suara-ke-teks yang tertanam. Arsitektur ini memungkinkan satu titik akhir yang dihosting untuk beralih dengan mulus antara berbagai fungsionalitas, termasuk menghasilkan bahasa alami, membuat keputusan umum dan khusus, serta mentranskripsikan suara menjadi teks.
Baca Selengkapnya
Inti dari Granite Switch 4.1 30B adalah model dasar ibm-granite/granite-4.1-30b, yang memiliki jendela konteks 128K. Model ini dilengkapi dengan dua adaptor utama: aLoRA 'keputusan' untuk pengambilan keputusan umum dan aLoRA 'guardian-core' untuk mendeteksi risiko keselamatan seperti bahaya, jailbreak, kata kasar, kekerasan, konten seksual, bias sosial, dan perilaku tidak etis. Adaptor ini diaktifkan sesuai permintaan menggunakan token kontrol dalam template obrolan, memberikan fungsionalitas dinamis.
Fitur kunci dari model ini adalah kemampuannya untuk mentranskripsikan suara yang tertanam, didukung oleh ibm-granite/granite-speech-5.0-470m-turboctc. Encoder ini mendukung transkripsi dalam tujuh bahasa: Inggris, Prancis, Jerman, Spanyol, Portugis, Italia, dan Jepang, menghasilkan transkrip yang dipenuhi tanda baca dan kapitalisasi. Ini berarti bahwa input audio dapat diproses langsung pada titik akhir yang sama dengan tugas obrolan dan keputusan, menghilangkan kebutuhan akan server suara terpisah.
Granite Switch 4.1 30B dilisensikan di bawah Apache 2.0 dan mendukung backend seperti HuggingFace Transformers dan vLLM. Model ini dirancang untuk pengembang dan organisasi yang ingin mengintegrasikan pemrosesan bahasa, keputusan, dan suara yang canggih ke dalam aplikasi mereka. Model ini juga tersedia dalam konfigurasi lain, termasuk versi dasar 8B dan paket lengkap Granite Libraries. Pertimbangan etis menekankan perlunya pengujian dan pemantauan keselamatan di tingkat aplikasi, karena adaptor guardian-core yang tertanam memberikan lapisan keselamatan tambahan tetapi tidak menggantikan langkah-langkah perlindungan penyebaran yang komprehensif.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Granite Switch 4.1 30B
Arsitektur LLM modular dengan model dasar dan adaptor
30 miliar parameter untuk model dasar
Jendela konteks 128K token
Adaptor pengambilan keputusan (aLoRA) untuk keputusan umum
Adaptor guardian-core (aLoRA) untuk deteksi risiko keselamatan
Encoder suara-ke-teks multibahasa (ASR) yang tertanam
Mendukung bahasa Inggris, Prancis, Jerman, Spanyol, Portugis, Italia, Jepang untuk ASR
Deteksi bahasa otomatis untuk input audio
Satu titik akhir yang dihosting untuk obrolan, keputusan, dan suara-ke-teks
Adaptor diaktifkan sesuai permintaan melalui token kontrol
Kompatibel dengan backend HuggingFace Transformers dan vLLM
Lisensi Apache 2.0
Normalisasi cache KV untuk adaptor
Tidak ada pelatihan bersama adaptor, memungkinkan pengembangan independen
Satu checkpoint untuk HuggingFace dan vLLM tanpa konversi
Memulai dengan Granite Switch 4.1 30B
Akses Model: Arahkan ke halaman ibm-granite/granite-switch-4.1-30b di Hugging Face.
Instal Ketergantungan: Pastikan Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0), dan Transformers (>=5.16, <=5.17.0) terinstal.
Muat Model: Gunakan pustaka HuggingFace Transformers untuk memuat model, dengan menentukan revisi yang diinginkan jika bukan yang terbaru.
Aktifkan Adaptor: Kirim nama adaptor (misalnya, 'guardian-core', 'decision') ke template obrolan melalui `chat_template_kwargs` dalam permintaan Anda.
Proses Input Audio: Atur `asr_enabled: true` dalam `config.json` untuk mengaktifkan transkripsi suara-ke-teks untuk input audio.
Kirim Prompt: Buat prompt untuk generasi teks, pengambilan keputusan, atau transkripsi suara, memanfaatkan adaptor yang diaktifkan.
Interpretasikan Output: Untuk adaptor keputusan, baca probabilitas yang dikalibrasi di atas label opsi; untuk guardian-core, analisis keputusan JSON.
Kasus Penggunaan Granite Switch 4.1 30B
- Chatbot Multibahasa
- Sistem Keputusan Otomatis
- Moderasi Konten
- Layanan Transkripsi Suara
- Asisten Virtual Cerdas
- Pemahaman Bahasa
- Dukungan Pelanggan Berbasis AI














