Deskripsi
Youtu-Parsing-Omni adalah model parsing omni-modal yang kompak yang dirancang untuk menangani berbagai jenis input, termasuk halaman dokumen, gambar alami, grafik, diagram alir, figur geometri, klip audio, dan video. Model ini menghasilkan output JSON terstruktur yang mencakup tugas persepsi dan kognisi. Tugas persepsi mencakup elemen tata letak, teks, tabel, rumus, kotak pembatas, cap waktu, ASR, OCR, peristiwa akustik, dan gerakan kamera.
Baca Selengkapnya
Tugas kognisi melibatkan pembuatan keterangan, narasi, dan laporan.
Model ini beroperasi menggunakan skema terpadu, yang dikenal sebagai OmniSchema, yang memungkinkan format output yang konsisten di berbagai tugas. Model ini memiliki satu Youtu-Omni-Encoder yang menggantikan menara terpisah tradisional untuk piksel dan audio, meningkatkan kemampuan pembacaan teks. Model ini diinisialisasi dari model bahasa teks yang telah dilatih sebelumnya, dan memanfaatkan batang spesifik moda yang tipis untuk memetakan piksel dan bingkai log-mel ke token. Sebuah Transformer bidirectional bersama mengontekstualisasikan input, dan penggabungan serta proyektor spesifik moda memberi umpan token ke dekoder Youtu-LLM.
Youtu-Parsing-Omni dikenal karena kinerjanya yang kuat meskipun ukurannya kecil, mencapai hasil terbaik di OmniDocBench v1.6 dan hasil kompetitif di OmniParsingBench. Model ini sangat efektif dalam tugas khusus seperti pengenalan struktur kimia dan pengenalan notasi musik. Model ini mudah untuk disajikan, dengan plugin vLLM dan pengaturan penyajian yang dipasang.
Kemampuan fusi audio-visual model ini memungkinkan penyelarasan lintas-modal di dalam encoder, memastikan bahwa bingkai dan potongan audio diproses dalam urutan temporal. Pendekatan ini meningkatkan kemampuan model untuk menangani input kompleks seperti video dengan elemen audio dan visual yang disinkronkan. Youtu-Parsing-Omni tersedia untuk diunduh di platform seperti Hugging Face dan ModelScope, membuatnya dapat diakses oleh pengembang dan peneliti yang mencari solusi parsing yang kuat.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Youtu-Parsing-Omni
Model parsing omni-modal
Skema terpadu untuk output JSON
Satu Youtu-Omni-Encoder
Kinerja terbaik di kelasnya
Kemampuan fusi audio-visual
Ukuran model yang kompak
Mudah disajikan dengan plugin vLLM
Mendukung berbagai jenis input
Memulai dengan Youtu-Parsing-Omni
Akses model: Kunjungi Hugging Face
Autentikasi: Siapkan kredensial
Siapkan lingkungan: Instal dependensi
Integrasi melalui API: Gunakan contoh yang disediakan
Optimalkan: Sesuaikan pengaturan untuk kinerja
Kasus Penggunaan Youtu-Parsing-Omni
- Parsing Dokumen
- Analisis Gambar
- Interpretasi Grafik
- Pemrosesan Audio
- Analisis Video
