설명
WebVoyager는 실제 웹사이트와 상호 작용하여 사용자 지침을 종단간(end-to-end)으로 완료하도록 설계된 혁신적인 대규모 멀티모달 모델(LMM) 기반 웹 에이전트입니다. 이 프로젝트는 멀티모달 웹 탐색 및 작업 완료 기능을 보여주는 WebVoyager 논문의 코드와 데이터를 제공합니다.
더 읽기
WebVoyager의 핵심은 텍스트와 시각 정보를 모두 통합하는 능력에 있으며, 이를 통해 웹 페이지를 더 효과적으로 이해하고 상호 작용할 수 있습니다. 탐색을 위해 일반적인 계획 접근 방식을 채택하여 다양한 웹 작업을 처리할 수 있습니다. 이 시스템은 Selenium을 사용하여 구현된 온라인 웹 브라우징 환경을 기반으로 구축되어 테스트 및 개발을 위한 현실적인 플랫폼을 제공합니다.
연구 및 개발을 용이하게 하기 위해 WebVoyager는 선별된 작업 쿼리 데이터 세트를 포함합니다. 이 데이터 세트는 반자동 접근 방식을 사용하여 생성되었으며, 15개 웹사이트에 걸쳐 643개의 작업 쿼리가 포함되어 있으며 각 웹사이트는 40개 이상의 쿼리를 특징으로 합니다. 데이터는 `data/WebVoyager_data.jsonl`에서 사용할 수 있으며, 참조 답변은 `data/reference_answer.json`에 제공됩니다. 또한, 이 프로젝트는 GAIA 데이터 세트에서 추출한 90개의 웹 브라우징 작업을 포함하며, 이는 `data/GAIA_web.jsonl`에서 사용할 수 있습니다.
작업 풀을 확장하려는 사용자를 위해 이 프로젝트는 GPT-4를 사용하여 새 작업을 생성할 것을 제안합니다. 이 프로세스를 안내하기 위한 지침과 예제 프롬프트가 제공되며, 특정 웹사이트 내에서의 다양성과 해결 가능성을 강조합니다. 설정에는 conda 환경 생성, `requirements.txt`를 통한 종속성 설치, OpenAI API 키로 `run.sh` 스크립트 구성이 포함됩니다.
WebVoyager는 표준 모드와 텍스트 전용 모드 모두를 지원하며, 최대 반복 횟수, 첨부 이미지 및 모델 온도에 대한 조정 가능한 매개변수를 제공하여 실행의 유연성을 제공합니다. 이 프로젝트는 `evaluation` 디렉토리에 자세히 설명된 GPT-4V를 사용한 자동 평가 프로토콜도 포함하여 완료된 작업에 대한 에이전트의 성능을 평가합니다. 에이전트의 상호 작용 결과(메시지 및 스크린샷 포함)는 검토 및 분석을 위해 저장됩니다.
- 카테고리브라우저 및 웹 자동화
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
WebVoyager의 핵심 기능
대규모 멀티모달 모델(LMM) 기반 종단간(end-to-end) 웹 에이전트
웹 작업 완료를 위해 텍스트 및 시각 정보 통합
웹 탐색을 위한 일반적인 계획 접근 방식
Selenium으로 구축된 온라인 웹 브라우징 환경
15개 웹사이트에 걸친 643개의 다양한 웹 작업 쿼리 데이터 세트
GAIA 데이터 세트에서 추출한 작업
GPT-4를 사용한 작업 확장 지원
구성 가능한 실행 매개변수(최대 반복 횟수, 온도, 헤드리스 모드)
GPT-4V를 사용한 자동 평가 프로토콜 포함
분석을 위해 상호 작용 로그 및 스크린샷 저장
WebVoyager 시작하기
환경 설정: conda 환경을 생성하고 활성화한 후 `pip install -r requirements.txt`를 사용하여 종속성을 설치합니다.
작업 준비: 원하는 테스트 작업을 `data/tasks_test.jsonl`로 복사합니다. 시간 민감한 작업의 경우 날짜를 수동으로 업데이트합니다.
API 키 구성: `run.sh` 스크립트에서 `api_key`를 자신의 OpenAI API 키로 수정합니다.
WebVoyager 실행: `bash run.sh` 명령을 사용하여 에이전트를 실행합니다.
결과 모니터링: 실행 출력은 `test_tasks.log` 파일에서 확인하고, 자세한 상호 작용 로그 및 스크린샷은 `output_dir`에서 확인합니다.
WebVoyager의 사용 사례
- 웹 작업 자동화
- 웹 탐색 연구
- 데이터 수집
- AI 에이전트 개발
- 웹사이트 상호 작용 테스트
