Deskripsi
IDEFICS (Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attention) adalah model bahasa visual akses terbuka yang dikembangkan untuk memajukan transparansi dan demokratisasi dalam AI. Model ini merupakan reproduksi terbuka dari Flamingo milik DeepMind, sebuah model bahasa visual mutakhir yang belum dirilis secara publik. Mirip dengan model seperti GPT-4, IDEFICS dapat memproses urutan gambar dan teks arbitrer, menghasilkan output teks yang koheren.
Baca Selengkapnya
Dibangun secara eksklusif di atas data dan model yang tersedia untuk umum, termasuk LLaMA v1 dan OpenCLIP, IDEFICS tersedia dalam dua varian: versi dasar dan versi terinstruksi. Setiap varian hadir dalam dua ukuran parameter: 9 miliar dan 80 miliar. Proyek ini menekankan transparansi dengan hanya menggunakan data publik, menyediakan alat untuk menjelajahi dataset pelatihan, berbagi pelajaran teknis yang didapat, dan melakukan evaluasi etis internal melalui prompting adversarial (red teaming) sebelum rilis.
IDEFICS unggul dalam tugas-tugas seperti menjawab pertanyaan tentang gambar, mendeskripsikan konten visual, dan membuat cerita yang didasarkan pada beberapa gambar. Kinerjanya sebanding dengan model Flamingo sumber tertutup asli di berbagai tolok ukur pemahaman gambar-teks. Model ini dilatih pada campuran dataset yang tersedia secara terbuka seperti Wikipedia, Public Multimodal Dataset, dan LAION, bersama dengan dataset baru berukuran 115 miliar token yang disebut OBELICS, yang terdiri dari 141 juta dokumen web gambar-teks yang berselang-seling.
Tim pengembang berkomitmen untuk mendorong penelitian terbuka dalam sistem AI multimodal. IDEFICS bertujuan untuk berfungsi sebagai fondasi yang kuat bagi komunitas AI, melengkapi reproduksi terbuka lainnya seperti OpenFlamingo. Piagam etis proyek memandu keputusan, memprioritaskan kritik diri, transparansi, dan keadilan. Pengguna didorong untuk menjelajahi demo, kartu model, dan kartu dataset, serta memberikan umpan balik untuk membantu peningkatan berkelanjutan model-model ini dan aksesibilitas AI multimodal berskala besar.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Model Bahasa Visual IDEFICS
Model bahasa visual akses terbuka
Mereproduksi kemampuan mutakhir
Menerima input gambar dan teks yang berselang-seling
Menghasilkan output teks
Kinerja sebanding dengan model proprietary
Tersedia dalam ukuran parameter 9 miliar dan 80 miliar
Menawarkan versi dasar dan terinstruksi
Dilatih pada data dan model yang tersedia untuk umum
Mendukung penelitian AI multimodal
Mencakup evaluasi etis melalui red teaming
Visualisasi interaktif dataset pelatihan tersedia
Memulai dengan Model Bahasa Visual IDEFICS
Akses model: Temukan model IDEFICS di Hugging Face Hub.
Siapkan lingkungan: Pastikan Anda telah menginstal versi transformers terbaru.
Muat model dan prosesor: Impor kelas yang diperlukan dan muat checkpoint IDEFICS yang diinginkan.
Siapkan input: Buat prompt dengan string teks dan URL gambar atau Gambar PIL yang berselang-seling.
Integrasikan melalui API: Gunakan metode `generate` dengan input yang disiapkan dan argumen generasi.
Dekode output: Proses ID yang dihasilkan untuk mendapatkan teks yang dapat dibaca manusia.
Jalankan inferensi: Eksekusi kode untuk menghasilkan teks berdasarkan input multimodal.
Kasus Penggunaan Model Bahasa Visual IDEFICS
- Tanya Jawab Gambar
- Deskripsi Konten Visual
- Penceritaan Multimodal
- Fondasi Penelitian Terbuka
- Transparansi AI
- Demokratisasi AI
