Beschreibung
WebVoyager ist ein innovativer, auf Large Multimodal Models (LMMs) basierender Web-Agent, der entwickelt wurde, um Benutzeranweisungen End-to-End durch Interaktion mit realen Websites auszuführen. Dieses Projekt stellt den Code und die Daten für das WebVoyager-Paper bereit und demonstriert seine Fähigkeiten in der multimodalen Webnavigation und Aufgabenerfüllung.
Weiterlesen
Der Kern von WebVoyager liegt in seiner Fähigkeit, sowohl textuelle als auch visuelle Informationen zu integrieren, was ihm ein effektiveres Verständnis und eine effektivere Interaktion mit Webseiten ermöglicht. Er verwendet einen generalistischen Planungsansatz für die Navigation, der es ihm ermöglicht, eine Vielzahl von Webaufgaben zu bewältigen. Das System basiert auf einer Online-Browsing-Umgebung, die mit Selenium implementiert ist und eine realistische Plattform für Tests und Entwicklung bietet.
Um Forschung und Entwicklung zu erleichtern, enthält WebVoyager einen kuratierten Datensatz von Aufgabenabfragen. Dieser Datensatz wurde mit einem semi-automatisierten Ansatz generiert und umfasst 643 Aufgabenabfragen auf 15 Websites, wobei jede Website über 40 Abfragen enthält. Die Daten sind unter `data/WebVoyager_data.jsonl` verfügbar, und Referenzantworten finden sich unter `data/reference_answer.json`. Zusätzlich enthält das Projekt 90 Web-Browsing-Aufgaben, die aus dem GAIA-Datensatz extrahiert wurden und unter `data/GAIA_web.jsonl` verfügbar sind.
Für Benutzer, die den Aufgabenpool erweitern möchten, schlägt das Projekt die Verwendung von GPT-4 zur Generierung neuer Aufgaben vor. Anleitungen und Beispiel-Prompts werden bereitgestellt, um diesen Prozess zu leiten und die Vielfalt und Lösbarkeit innerhalb spezifischer Websites zu betonen. Die Einrichtung umfasst die Erstellung einer Conda-Umgebung, die Installation von Abhängigkeiten über `requirements.txt` und die Konfiguration des `run.sh`-Skripts mit einem OpenAI API-Schlüssel.
WebVoyager bietet Flexibilität bei der Ausführung und unterstützt sowohl Standard- als auch reine Textmodi mit einstellbaren Parametern für maximale Iterationen, angehängte Bilder und Modelltemperatur. Das Projekt beinhaltet auch ein automatisiertes Auswertungsprotokoll mit GPT-4V, das im Verzeichnis `evaluation` detailliert beschrieben ist, um die Leistung des Agenten bei abgeschlossenen Aufgaben zu bewerten. Die Ergebnisse der Interaktionen des Agenten, einschließlich Nachrichten und Screenshots, werden zur menschlichen Überprüfung und Analyse gespeichert.
- KategorieBrowser- & Web-Automatisierung
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
WebVoyager's Kernfunktionen
End-to-End-Web-Agent, der auf Large Multimodal Models (LMMs) basiert
Integriert textuelle und visuelle Informationen zur Erledigung von Webaufgaben
Generalistischer Planungsansatz für die Webnavigation
Online-Web-Browsing-Umgebung, aufgebaut mit Selenium
Datensatz mit 643 vielfältigen Webaufgaben-Abfragen auf 15 Websites
Aufgaben extrahiert aus dem GAIA-Datensatz
Unterstützt Aufgabenerweiterung mit GPT-4
Konfigurierbare Ausführungsparameter (max. Iterationen, Temperatur, Headless-Modus)
Enthält ein automatisiertes Auswertungsprotokoll mit GPT-4V
Speichert Interaktionsprotokolle und Screenshots zur Analyse
Erste Schritte mit WebVoyager
Umgebung einrichten: Erstellen Sie eine Conda-Umgebung, aktivieren Sie sie und installieren Sie Abhängigkeiten mit `pip install -r requirements.txt`.
Aufgaben vorbereiten: Kopieren Sie die gewünschten Testaufgaben in `data/tasks_test.jsonl`. Aktualisieren Sie manuell die Daten für zeitkritische Aufgaben.
API-Schlüssel konfigurieren: Ändern Sie den `api_key` im `run.sh`-Skript mit Ihrem OpenAI API-Schlüssel.
WebVoyager ausführen: Führen Sie den Agenten mit dem Befehl `bash run.sh` aus.
Ergebnisse überwachen: Überprüfen Sie die Datei `test_tasks.log` auf Ausführungsausgaben und das Verzeichnis `output_dir` auf detaillierte Interaktionsprotokolle und Screenshots.
WebVoyager's Anwendungsfälle
- Automatisierung von Webaufgaben
- Web-Navigationsforschung
- Datensammlung
- Entwicklung von KI-Agenten
- Testen von Website-Interaktionen
