الوصف
WebVoyager هو وكيل ويب مبتكر مدعوم بنماذج متعددة الوسائط كبيرة (LMMs) مصمم لإكمال تعليمات المستخدم بشكل شامل من خلال التفاعل مع مواقع الويب الواقعية. يوفر هذا المشروع الكود والبيانات الخاصة بورقة WebVoyager، مما يعرض قدراته في التنقل متعدد الوسائط عبر الويب وإكمال المهام.
قراءة المزيد
يكمن جوهر WebVoyager في قدرته على دمج المعلومات النصية والمرئية، مما يسمح له بفهم صفحات الويب والتفاعل معها بشكل أكثر فعالية. يعتمد على نهج تخطيط عام للتنقل، مما يمكّنه من معالجة مجموعة متنوعة من مهام الويب. تم بناء النظام على بيئة تصفح ويب عبر الإنترنت، والتي تم تنفيذها باستخدام Selenium، مما يوفر منصة واقعية للاختبار والتطوير.
لتسهيل البحث والتطوير، يتضمن WebVoyager مجموعة بيانات منظمة من استعلامات المهام. تم إنشاء مجموعة البيانات هذه باستخدام نهج شبه آلي، مما أدى إلى 643 استعلام مهمة موزعة على 15 موقعًا، مع كل موقع يحتوي على أكثر من 40 استعلامًا. البيانات متاحة في `data/WebVoyager_data.jsonl`، ويتم توفير إجابات مرجعية في `data/reference_answer.json`. بالإضافة إلى ذلك، يشتمل المشروع على 90 مهمة تصفح ويب مستخرجة من مجموعة بيانات GAIA، متاحة في `data/GAIA_web.jsonl`.
بالنسبة للمستخدمين الذين يتطلعون إلى توسيع مجموعة المهام، يقترح المشروع استخدام GPT-4 لإنشاء مهام جديدة. يتم توفير التعليمات وأمثلة المطالبات لتوجيه هذه العملية، مع التركيز على التنوع والقابلية للحل ضمن مواقع ويب محددة. يتضمن الإعداد إنشاء بيئة conda، وتثبيت التبعيات عبر `requirements.txt`، وتكوين البرنامج النصي `run.sh` بمفتاح OpenAI API.
يوفر WebVoyager مرونة في تنفيذه، ويدعم كلاً من الوضع القياسي ووضع النص فقط، مع معلمات قابلة للتعديل للحد الأقصى للتكرارات والصور المرفقة ودرجة حرارة النموذج. يتضمن المشروع أيضًا بروتوكول تقييم آلي باستخدام GPT-4V، مفصل في دليل `evaluation`، لتقييم أداء الوكيل على المهام المكتملة. يتم حفظ نتائج تفاعلات الوكيل، بما في ذلك الرسائل ولقطات الشاشة، للمراجعة والتحليل البشري.
- الفئةأتمتة المتصفح والويب
- نموذج التسعيرمفتوح المصدر
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ WebVoyager
وكيل ويب شامل مدعوم بنماذج متعددة الوسائط كبيرة (LMMs)
يدمج المعلومات النصية والمرئية لإكمال مهام الويب
نهج تخطيط عام للتنقل عبر الويب
بيئة تصفح ويب عبر الإنترنت مبنية باستخدام Selenium
مجموعة بيانات تضم 643 استعلام مهمة ويب متنوعة عبر 15 موقعًا
مهام مستخرجة من مجموعة بيانات GAIA
يدعم توسيع المهام باستخدام GPT-4
معلمات تنفيذ قابلة للتكوين (الحد الأقصى للتكرارات، درجة الحرارة، وضع عدم الواجهة)
يتضمن بروتوكول تقييم آلي باستخدام GPT-4V
يحفظ سجلات التفاعل ولقطات الشاشة للتحليل
البدء مع WebVoyager
إعداد البيئة: قم بإنشاء بيئة conda، وقم بتنشيطها، وقم بتثبيت التبعيات باستخدام `pip install -r requirements.txt`.
إعداد المهام: انسخ المهام الاختبارية المطلوبة إلى `data/tasks_test.jsonl`. قم بتحديث التواريخ يدويًا للمهام الحساسة للوقت.
تكوين مفتاح API: قم بتعديل `api_key` في البرنامج النصي `run.sh` باستخدام مفتاح OpenAI API الخاص بك.
تنفيذ WebVoyager: قم بتشغيل الوكيل باستخدام الأمر `bash run.sh`.
مراقبة النتائج: تحقق من ملف `test_tasks.log` لمخرجات التنفيذ ومن `output_dir` لسجلات التفاعل التفصيلية ولقطات الشاشة.
حالات استخدام WebVoyager
- أتمتة مهام الويب
- أبحاث التنقل عبر الويب
- جمع البيانات
- تطوير وكلاء الذكاء الاصطناعي
- اختبار التفاعل مع مواقع الويب
