Описание
WebVoyager — это инновационный веб-агент на базе больших мультимодальных моделей (LMM), разработанный для комплексного выполнения пользовательских инструкций путем взаимодействия с реальными веб-сайтами. Этот проект предоставляет код и данные для статьи о WebVoyager, демонстрируя его возможности в мультимодальной веб-навигации и выполнении задач.
Читать далее
Ядро WebVoyager заключается в его способности интегрировать как текстовую, так и визуальную информацию, что позволяет ему более эффективно понимать веб-страницы и взаимодействовать с ними. Он использует общий подход к планированию навигации, позволяя решать разнообразные веб-задачи. Система построена на основе среды для просмотра веб-страниц в реальном времени, реализованной с использованием Selenium, что обеспечивает реалистичную платформу для тестирования и разработки.
Для облегчения исследований и разработок WebVoyager включает в себя тщательно подобранный набор данных с запросами задач. Этот набор данных был сгенерирован с использованием полуавтоматического подхода, в результате чего получилось 643 запроса задач, охватывающих 15 веб-сайтов, причем каждый веб-сайт содержит более 40 запросов. Данные доступны в файле `data/WebVoyager_data.jsonl`, а эталонные ответы — в файле `data/reference_answer.json`. Кроме того, проект включает 90 задач по просмотру веб-страниц, извлеченных из набора данных GAIA, доступных в файле `data/GAIA_web.jsonl`.
Для пользователей, желающих расширить пул задач, проект предлагает использовать GPT-4 для генерации новых задач. Инструкции и примеры запросов предоставляются для руководства этим процессом, с акцентом на разнообразие и решаемость в рамках конкретных веб-сайтов. Настройка включает создание среды conda, установку зависимостей через `requirements.txt` и настройку скрипта `run.sh` с ключом OpenAI API.
WebVoyager предлагает гибкость в исполнении, поддерживая как стандартный, так и только текстовый режимы, с настраиваемыми параметрами для максимального количества итераций, прикрепленных изображений и температуры модели. Проект также включает автоматизированный протокол оценки с использованием GPT-4V, подробно описанный в каталоге `evaluation`, для оценки производительности агента при выполнении задач. Результаты взаимодействий агента, включая сообщения и снимки экрана, сохраняются для человеческого просмотра и анализа.
- КатегорияАвтоматизация браузера и веба
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции WebVoyager
Комплексный веб-агент на базе больших мультимодальных моделей (LMM)
Интегрирует текстовую и визуальную информацию для выполнения веб-задач
Общий подход к планированию веб-навигации
Среда для просмотра веб-страниц в реальном времени, построенная с использованием Selenium
Набор данных из 643 разнообразных запросов веб-задач на 15 веб-сайтах
Задачи, извлеченные из набора данных GAIA
Поддерживает расширение задач с помощью GPT-4
Настраиваемые параметры выполнения (макс. итераций, температура, безголовый режим)
Включает автоматизированный протокол оценки с использованием GPT-4V
Сохраняет журналы взаимодействий и снимки экрана для анализа
Начало работы с WebVoyager
Настройка среды: Создайте среду conda, активируйте ее и установите зависимости с помощью `pip install -r requirements.txt`.
Подготовка задач: Скопируйте нужные тестовые задачи в `data/tasks_test.jsonl`. Вручную обновите даты для задач, чувствительных ко времени.
Настройка ключа API: Измените `api_key` в скрипте `run.sh` на ваш ключ OpenAI API.
Запуск WebVoyager: Запустите агента командой `bash run.sh`.
Мониторинг результатов: Проверьте файл `test_tasks.log` для вывода выполнения и каталог `output_dir` для подробных журналов взаимодействий и снимков экрана.
Варианты использования WebVoyager
- Автоматизация веб-задач
- Исследование веб-навигации
- Сбор данных
- Разработка ИИ-агентов
- Тестирование взаимодействия с веб-сайтами
