الوصف
Youtu-Parsing-Omni هو نموذج تحليل متعدد الأنماط مصمم للتعامل مع مجموعة واسعة من المدخلات، بما في ذلك صفحات الوثائق، والصور الطبيعية، والمخططات، والمخططات الانسيابية، والأشكال الهندسية، ومقاطع الصوت، ومقاطع الفيديو. ينتج هذا النموذج مخرجات JSON منظمة تشمل كل من مهام الإدراك والمعرفة. تشمل مهام الإدراك عناصر التخطيط، والنصوص، والجداول، والصيغ، والصناديق المحيطة، والطوابع الزمنية، والتعرف على الكلام، والتعرف الضوئي على الحروف، والأحداث الصوتية، وحركة الكاميرا.
قراءة المزيد
تشمل مهام المعرفة توليد التسميات التوضيحية، والسرد، والتقارير.
يعمل النموذج باستخدام مخطط موحد، يعرف باسم OmniSchema، مما يسمح بتنسيق مخرجات متسق عبر مهام مختلفة. يتميز بمشفر Youtu-Omni واحد يستبدل الأبراج المنفصلة التقليدية للبكسلات والصوت، مما يعزز قدرات قراءة النصوص. يتم تهيئة النموذج من نموذج لغة نصية مدرب مسبقًا، ويستخدم جذوعًا محددة للنمط رفيعة لربط البكسلات وإطارات اللوغاريتمات إلى الرموز. يقوم محول ثنائي الاتجاه مشترك بتسليط الضوء على المدخلات، وتقوم عمليات الدمج والمشروعات المحددة للنمط بتغذية الرموز إلى مفكك تشفير Youtu-LLM.
يُعرف Youtu-Parsing-Omni بأدائه القوي على الرغم من حجمه الصغير، حيث يحقق نتائج رائدة في OmniDocBench v1.6 ونتائج تنافسية في OmniParsingBench. إنه فعال بشكل خاص في المهام المتخصصة مثل التعرف على الهياكل الكيميائية والتعرف على النوتات الموسيقية. النموذج سهل الاستخدام، مع مكون إضافي vLLM وإعدادات خدمة مثبتة مضمنة.
تسمح قدرات الدمج السمعي البصري للنموذج بالتوافق بين الأنماط داخل المشفر، مما يضمن معالجة الإطارات ومقاطع الصوت بترتيب زمني. تعزز هذه الطريقة قدرة النموذج على التعامل مع المدخلات المعقدة مثل مقاطع الفيديو مع الصوت والعناصر المرئية المتزامنة. Youtu-Parsing-Omni متاح للتنزيل على منصات مثل Hugging Face وModelScope، مما يجعله متاحًا للمطورين والباحثين الذين يبحثون عن حل تحليل قوي.
- الفئةنماذج الذكاء الاصطناعي ونماذج اللغة الكبيرة
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
أبرز ملامح Youtu-Parsing-Omni
نموذج تحليل متعدد الأنماط
مخطط موحد لمخرجات JSON
مشفر Youtu-Omni واحد
أداء رائد في المجال
قدرات الدمج السمعي البصري
حجم نموذج مدمج
سهل الاستخدام مع مكون إضافي vLLM
يدعم أنواع المدخلات المتنوعة
البدء مع Youtu-Parsing-Omni
الوصول إلى النموذج: زيارة Hugging Face
المصادقة: إعداد بيانات الاعتماد
إعداد البيئة: تثبيت التبعيات
التكامل عبر API: استخدام الأمثلة المقدمة
تحسين: ضبط الإعدادات للأداء
حالات استخدام Youtu-Parsing-Omni
- تحليل الوثائق
- تحليل الصور
- تفسير المخططات
- معالجة الصوت
- تحليل الفيديو
