Description
WebVoyager est un agent web innovant basé sur des modèles multimodaux larges (LMM) conçu pour accomplir les instructions des utilisateurs de bout en bout en interagissant avec des sites web réels. Ce projet fournit le code et les données pour l'article WebVoyager, démontrant ses capacités en matière de navigation web multimodale et d'accomplissement de tâches.
Lire la suite
Le cœur de WebVoyager réside dans sa capacité à intégrer des informations textuelles et visuelles, lui permettant de comprendre et d'interagir plus efficacement avec les pages web. Il emploie une approche de planification généraliste pour la navigation, lui permettant de traiter une gamme variée de tâches web. Le système est construit sur un environnement de navigation web en ligne, implémenté à l'aide de Selenium, offrant une plateforme réaliste pour les tests et le développement.
Pour faciliter la recherche et le développement, WebVoyager inclut un ensemble de données de requêtes de tâches soigneusement sélectionné. Cet ensemble de données a été généré à l'aide d'une approche semi-automatisée, résultant en 643 requêtes de tâches réparties sur 15 sites web, chaque site web proposant plus de 40 requêtes. Les données sont disponibles dans `data/WebVoyager_data.jsonl`, et les réponses de référence sont fournies dans `data/reference_answer.json`. De plus, le projet intègre 90 tâches de navigation web extraites de l'ensemble de données GAIA, disponibles dans `data/GAIA_web.jsonl`.
Pour les utilisateurs souhaitant étendre le pool de tâches, le projet suggère d'utiliser GPT-4 pour générer de nouvelles tâches. Des instructions et des exemples d'invites sont fournis pour guider ce processus, en mettant l'accent sur la diversité et la faisabilité au sein de sites web spécifiques. La configuration implique la création d'un environnement conda, l'installation des dépendances via `requirements.txt`, et la configuration du script `run.sh` avec une clé API OpenAI.
WebVoyager offre une flexibilité dans son exécution, prenant en charge les modes standard et texte uniquement, avec des paramètres ajustables pour les itérations maximales, les images jointes et la température du modèle. Le projet comprend également un protocole d'évaluation automatisé utilisant GPT-4V, détaillé dans le répertoire `evaluation`, pour évaluer les performances de l'agent sur les tâches accomplies. Les résultats des interactions de l'agent, y compris les messages et les captures d'écran, sont enregistrés pour examen et analyse par l'homme.
- CatégorieAutomatisation navigateur et web
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de WebVoyager
Agent web de bout en bout alimenté par des modèles multimodaux larges (LMM)
Intègre des informations textuelles et visuelles pour l'accomplissement de tâches web
Approche de planification généraliste pour la navigation web
Environnement de navigation web en ligne construit avec Selenium
Ensemble de données de 643 requêtes de tâches web diverses sur 15 sites web
Tâches extraites de l'ensemble de données GAIA
Prend en charge l'extension des tâches à l'aide de GPT-4
Paramètres d'exécution configurables (itérations max, température, mode headless)
Inclut un protocole d'évaluation automatisé utilisant GPT-4V
Enregistre les journaux d'interaction et les captures d'écran pour analyse
Premiers pas avec WebVoyager
Configuration de l'environnement : Créez un environnement conda, activez-le et installez les dépendances en utilisant `pip install -r requirements.txt`.
Préparation des tâches : Copiez les tâches de test souhaitées dans `data/tasks_test.jsonl`. Mettez à jour manuellement les dates pour les tâches sensibles au temps.
Configuration de la clé API : Modifiez la `api_key` dans le script `run.sh` avec votre clé API OpenAI.
Exécution de WebVoyager : Lancez l'agent en utilisant la commande `bash run.sh`.
Surveillance des résultats : Vérifiez le fichier `test_tasks.log` pour la sortie d'exécution et le `output_dir` pour les journaux d'interaction détaillés et les captures d'écran.
Cas d'utilisation de WebVoyager
- Automatisation des tâches web
- Recherche sur la navigation web
- Collecte de données
- Développement d'agents IA
- Tests d'interaction avec les sites web
