Deskripsi
Phi-4-Reasoning-Vision-15B adalah model penalaran multimodal dengan bobot terbuka yang dikembangkan oleh Microsoft, dibangun di atas model bahasa Phi-4-Reasoning dan pengkode visi SigLIP-2. Model ini menggunakan arsitektur mid-fusion, di mana pengkode visi mengubah gambar menjadi token visual, yang kemudian diproyeksikan ke dalam ruang embedding model bahasa. Pendekatan inovatif ini menggabungkan kekuatan kedua komponen yang telah dilatih sebelumnya sambil mempertahankan biaya pelatihan dan inferensi yang dapat dikelola.
Baca Selengkapnya
Model ini mampu memproses teks dan gambar, dengan panjang konteks 16.384 token. Model ini telah dilatih menggunakan Supervised Fine-Tuning (SFT) pada dataset yang telah disusun dengan cermat yang mencakup data penalaran dan non-penalaran. Ini memungkinkan Phi-4-Reasoning-Vision-15B untuk melakukan penalaran rantai-panjang yang diperpanjang untuk tugas kompleks, seperti penalaran matematis dan ilmiah, sambil juga menangani inferensi langsung untuk tugas yang berfokus pada persepsi seperti penulisan keterangan dan deteksi objek.
Phi-4-Reasoning-Vision-15B sangat efektif di lingkungan yang terbatas memori atau komputasi, menjadikannya ideal untuk sistem AI multimodal umum. Kasus penggunaan utamanya mencakup penalaran ilmiah dan matematis atas input visual, serta tugas agen penggunaan komputer yang melibatkan interpretasi konten layar dan pelokalan elemen GUI. Model ini juga mampu melakukan tugas multimodal umum seperti penulisan keterangan gambar, menjawab pertanyaan visual, dan pengenalan karakter optik.
Pelatihan model melibatkan 240 GPU NVIDIA B200 selama periode empat hari, dengan fokus pada keselamatan dan keselarasan. Model ini menggabungkan pendekatan pasca-pelatihan keselamatan yang mencakup campuran dataset sintetis yang dihasilkan secara terbuka dan internal untuk memastikan perilaku yang tepat dalam menanggapi konten berbahaya. Pengembang disarankan untuk mempertimbangkan batasan model, terutama dalam skenario berisiko tinggi, dan menerapkan praktik AI yang bertanggung jawab saat mengintegrasikannya ke dalam aplikasi.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Phi-4-reasoning-vision-15B
Tipe Model: Multimodal
API Tersedia: Ya
Lisensi: MIT
Parameter: 15B
Panjang Konteks: 16.384 token
GPU Pelatihan: 240
Waktu Pelatihan: 4 hari
Dukungan Fine-tuning: Ya
Multimodal: Ya
Memulai dengan Phi-4-reasoning-vision-15B
Akses model: Kunjungi halaman Hugging Face untuk Phi-4-Reasoning-Vision-15B.
Autentikasi: Siapkan akun Hugging Face Anda untuk akses API.
Siapkan lingkungan: Pastikan sistem Anda memenuhi persyaratan teknis.
Integrasi melalui API: Gunakan dokumentasi API yang disediakan untuk mengintegrasikan model ke dalam aplikasi Anda.
Optimalkan: Lakukan fine-tune model berdasarkan kasus penggunaan spesifik Anda.
Kasus Penggunaan Phi-4-reasoning-vision-15B
- Penalaran Ilmiah
- Tugas Agen Penggunaan Komputer
- Penulisan Keterangan Gambar
- Menjawab Pertanyaan Visual
- Pengenalan Karakter Optik
