OmniParser: وكيل واجهة المستخدم الرسومية القائم على الرؤية

الوصف

OmniParser هي طريقة شاملة مصممة لتحليل لقطات شاشة واجهة المستخدم إلى عناصر منظمة، خاصة لوكلاء الذكاء الاصطناعي. إنه يعالج قيود نماذج لغة الرؤية الحالية، مثل GPT-4V، في التفاعل بدقة مع واجهات المستخدم عبر التطبيقات وأنظمة التشغيل المختلفة. تدور الوظيفة الأساسية لـ OmniParser حول جانبين رئيسيين: تحديد الأيقونات التفاعلية بشكل موثوق داخل واجهة المستخدم وفهم دلالات العناصر المختلفة في لقطة الشاشة لربط الإجراءات بدقة بمناطق الشاشة.

لتحقيق ذلك، يستخدم OmniParser نهجًا ذا شقين. أولاً، يستخدم نموذج الكشف لتحليل المناطق التفاعلية على الشاشة. يتم ضبط هذا النموذج بدقة باستخدام مجموعة بيانات منسقة من اكتشافات الأيقونات التفاعلية المشتقة من أشجار DOM لصفحات الويب الشائعة. ثانيًا، يستخرج نموذج التسمية التوضيحية الدلالات الوظيفية للعناصر المكتشفة. يتم تدريب هذا النموذج على مجموعة بيانات وصف الأيقونات. يتيح الجمع بين هذين النموذجين لـ OmniParser توفير معلومات منظمة حول واجهة المستخدم، بما في ذلك مربعات الإحاطة للأيقونات التفاعلية وأوصاف وظائفها.

يعمل OmniParser على تحسين أداء نماذج لغة الرؤية بشكل كبير في المعايير مثل ScreenSpot و Mind2Web و AITW. لقد ثبت أنه يتفوق على خطوط الأساس الخاصة بـ GPT-4V، حتى عند استخدام مدخلات لقطات الشاشة فقط. علاوة على ذلك، تم تصميم OmniParser كمكون إضافي، مما يجعله متوافقًا مع نماذج لغة الرؤية الأخرى مثل Phi-3.5-V و Llama-3.2-V. تتيح إمكانية المكون الإضافي هذه سهولة التكامل وتعزيز النماذج الحالية.

تكمن قيمة OmniParser في قدرته على تعزيز قدرات وكلاء الذكاء الاصطناعي الذين يعملون على واجهات المستخدم. من خلال توفير تقنية تحليل شاشة قوية، يمكّن OmniParser هؤلاء الوكلاء من التفاعل بشكل أكثر فعالية مع التطبيقات وأنظمة التشغيل المختلفة. يؤدي هذا إلى تحسين الأداء في المعايير ويفتح إمكانيات جديدة للأتمتة والتفاعل مع الواجهات الرقمية. يشمل الجمهور المستهدف الباحثين والمطورين الذين يعملون على وكلاء الذكاء الاصطناعي ونماذج لغة الرؤية وأتمتة واجهة المستخدم.

أبرز ملامح OmniParser: وكيل واجهة المستخدم الرسومية القائم على الرؤية

• تحليل لقطات شاشة واجهة المستخدم إلى عناصر منظمة

• تحديد الأيقونات التفاعلية

• فهم دلالات عناصر واجهة المستخدم

• يحسن أداء GPT-4V

• يتفوق على خطوط الأساس الخاصة بـ GPT-4V في المعايير

• جاهز كمكون إضافي لنماذج لغة الرؤية الأخرى

• يستخدم نموذج اكتشاف المنطقة التفاعلية

• يوظف وصف وظيفة الأيقونة

• يدعم Phi-3.5-V و Llama-3.2-V

• يستخدم مجموعة بيانات منسقة للتدريب

• ينشئ مربعات إحاطة ومعرفات رقمية

• يستخرج أوصاف النص والأيقونات

البدء مع OmniParser: وكيل واجهة المستخدم الرسومية القائم على الرؤية

1. 1

   فهم المشكلة: التعرف على قيود نماذج لغة الرؤية الحالية في تفاعل واجهة المستخدم.

2. 2

   استخدام المدخلات: تقديم مهمة مستخدم ولقطة شاشة لواجهة المستخدم كمدخلات.

3. 3

   معالجة المدخلات: يقوم OmniParser بتحليل لقطة الشاشة.

4. 4

   تلقي المخرجات: الحصول على لقطة شاشة محللة مع مربعات إحاطة ودلالات محلية.

5. 5

   التكامل مع النماذج: استخدم OmniParser كمكون إضافي لنماذج لغة الرؤية مثل GPT-4V أو Phi-3.5-V أو Llama-3.2-V.

6. 6

   تقييم الأداء: تقييم الأداء المحسن في معايير مثل ScreenSpot و Mind2Web و AITW.

7. 7

   التحسين والتحسين: اضبط النموذج بدقة لتطبيقات أو أنواع واجهة مستخدم معينة.

حالات استخدام OmniParser: وكيل واجهة المستخدم الرسومية القائم على الرؤية

• أتمتة واجهة المستخدم
• تطوير وكيل الذكاء الاصطناعي
• تحسين نموذج لغة الرؤية
• تحليل لقطات الشاشة
• تحسين المعايير
• التفاعل عبر الأنظمة الأساسية
• اكتشاف الأيقونات

الأسئلة الشائعة من OmniParser: وكيل واجهة المستخدم الرسومية القائم على الرؤية

• ما هو OmniParser؟

  OmniParser هي طريقة لتحليل لقطات شاشة واجهة المستخدم إلى عناصر منظمة، مصممة لتعزيز قدرة نماذج لغة الرؤية على التفاعل مع واجهات المستخدم.

• ما هي المكونات الرئيسية لـ OmniParser؟

  يتضمن OmniParser نموذج اكتشاف للمناطق التفاعلية ونموذج تسمية توضيحية لاستخراج الدلالات الوظيفية لعناصر واجهة المستخدم.

• ما هي المعايير التي يحسنها OmniParser؟

  يعمل OmniParser على تحسين الأداء في معايير مثل ScreenSpot و Mind2Web و AITW.

• ما هي نماذج لغة الرؤية التي يمكنها استخدام OmniParser؟

  يمكن استخدام OmniParser مع نماذج مثل GPT-4V و Phi-3.5-V و Llama-3.2-V.

• ما هو الإدخال لـ OmniParser؟

  المدخلات هي مهمة مستخدم ولقطة شاشة لواجهة المستخدم.

• ماذا يخرج OmniParser؟

  ينتج OmniParser لقطة شاشة محللة مع مربعات إحاطة ودلالات محلية، بما في ذلك النصوص المستخرجة وأوصاف الأيقونات.

• كيف يحسن OmniParser الأداء؟

  من خلال تحديد الأيقونات التفاعلية بدقة وفهم دلالات العناصر، يمكّن OmniParser من تحديد الإجراءات بشكل أكثر دقة.

• ما هي مجموعات البيانات التي استخدمت لتدريب OmniParser؟

  تم تدريب OmniParser على مجموعة بيانات منسقة من اكتشافات الأيقونات التفاعلية ومجموعة بيانات وصف الأيقونات.

• هل OmniParser مكون إضافي؟

  نعم، تم تصميم OmniParser ليكون مكونًا إضافيًا لنماذج لغة الرؤية الجاهزة.

• من هو الجمهور المستهدف لـ OmniParser؟

  يشمل الجمهور المستهدف الباحثين والمطورين الذين يعملون على وكلاء الذكاء الاصطناعي ونماذج لغة الرؤية وأتمتة واجهة المستخدم.