描述
WebVoyager 是一个创新的、由大型多模态模型 (LMM) 驱动的网页代理，旨在通过与真实网站交互来端到端地完成用户指令。该项目提供了 WebVoyager 论文的代码和数据，展示了其在多模态网页导航和任务完成方面的能力。
阅读更多
WebVoyager 的核心在于其整合文本和视觉信息的能力，使其能够更有效地理解和交互网页。它采用通用的规划方法进行导航，使其能够处理各种各样的网页任务。该系统建立在一个在线网页浏览环境之上，该环境使用 Selenium 实现，为测试和开发提供了一个真实的平台。
为了促进研究和开发，WebVoyager 包括一个经过精心策划的任务查询数据集。该数据集是使用半自动化方法生成的，涵盖了 15 个网站的 643 个任务查询，每个网站有 40 多个查询。数据可在 `data/WebVoyager_data.jsonl` 中找到，参考答案可在 `data/reference_answer.json` 中找到。此外，该项目还包含了从 GAIA 数据集中提取的 90 个网页浏览任务，可在 `data/GAIA_web.jsonl` 中找到。
对于希望扩展任务池的用户，该项目建议使用 GPT-4 生成新任务。提供了说明和示例提示来指导此过程，强调在特定网站内的多样性和可解性。设置包括创建 conda 环境，通过 `requirements.txt` 安装依赖项，以及使用 OpenAI API 密钥配置 `run.sh` 脚本。
WebVoyager 在执行方面提供了灵活性，支持标准模式和纯文本模式，并可调整最大迭代次数、附加图像和模型温度等参数。该项目还包括一个使用 GPT-4V 的自动化评估协议，在 `evaluation` 目录中有详细说明，用于评估代理在已完成任务上的性能。代理交互的结果，包括消息和屏幕截图，都会被保存以供人工审查和分析。
- 类别浏览器与网页自动化
- 定价模式开源
- 部署云端
- 平台网页版
WebVoyager的核心功能
由大型多模态模型 (LMM) 驱动的端到端网页代理
整合文本和视觉信息以完成网页任务
用于网页导航的通用规划方法
使用 Selenium 构建的在线网页浏览环境
包含 15 个网站的 643 个多样化网页任务查询的数据集
从 GAIA 数据集中提取的任务
支持使用 GPT-4 扩展任务
可配置的执行参数（最大迭代次数、温度、无头模式）
包含使用 GPT-4V 的自动化评估协议
保存交互日志和屏幕截图以供分析
WebVoyager入门
设置环境：创建 conda 环境，激活它，并使用 `pip install -r requirements.txt` 安装依赖项。
准备任务：将所需的测试任务复制到 `data/tasks_test.jsonl`。手动更新对时间敏感的任务的日期。
配置 API 密钥：在 `run.sh` 脚本中用您的 OpenAI API 密钥修改 `api_key`。
执行 WebVoyager：使用命令 `bash run.sh` 运行代理。
监控结果：检查 `test_tasks.log` 文件以获取执行输出，并检查 `output_dir` 以获取详细的交互日志和屏幕截图。
WebVoyager的使用案例
- 网页任务自动化
- 网页导航研究
- 数据收集
- AI 代理开发
- 网站交互测试
