説明
WebVoyagerは、大規模マルチモーダルモデル（LMM）を搭載した革新的なWebエージェントであり、実際のウェブサイトと対話してユーザーの指示をエンドツーエンドで完了させるように設計されています。このプロジェクトは、マルチモーダルWebナビゲーションとタスク完了におけるその能力を示す、WebVoyager論文のコードとデータを提供します。
続きを読む
WebVoyagerの中核は、テキスト情報と視覚情報の両方を統合する能力にあり、これによりWebページをより効果的に理解し、操作することができます。ナビゲーションには汎用的な計画アプローチを採用しており、多様なWebタスクに対応できます。システムは、Seleniumを使用して実装されたオンラインWebブラウジング環境上に構築されており、テストと開発のための現実的なプラットフォームを提供します。
研究開発を促進するために、WebVoyagerにはタスククエリのキュレーションされたデータセットが含まれています。このデータセットは半自動アプローチを使用して生成され、15のウェブサイトにわたる643のタスククエリがあり、各ウェブサイトには40以上のクエリが含まれています。データは`data/WebVoyager_data.jsonl`で利用可能であり、参照回答は`data/reference_answer.json`で提供されます。さらに、プロジェクトにはGAIAデータセットから抽出された90のWebブラウジングタスクが含まれており、`data/GAIA_web.jsonl`で利用可能です。
タスクプールを拡張したいユーザーのために、プロジェクトではGPT-4を使用して新しいタスクを生成することを推奨しています。このプロセスをガイドするための指示と例示的なプロンプトが提供されており、特定のウェブサイト内での多様性と解決可能性が強調されています。セットアップには、conda環境の作成、`requirements.txt`を介した依存関係のインストール、およびOpenAI APIキーを使用した`run.sh`スクリプトの設定が含まれます。
WebVoyagerは、標準モードとテキストのみモードの両方をサポートする実行の柔軟性を提供し、最大イテレーション数、添付画像、モデル温度の調整可能なパラメータを備えています。プロジェクトには、`evaluation`ディレクトリで詳細が説明されているGPT-4Vを使用した自動評価プロトコルも含まれており、完了したタスクに対するエージェントのパフォーマンスを評価します。エージェントの対話結果（メッセージやスクリーンショットを含む）は、人間のレビューと分析のために保存されます。
- カテゴリーブラウザ・Web 自動化
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
WebVoyagerの主要機能
大規模マルチモーダルモデル（LMM）を搭載したエンドツーエンドのWebエージェント
Webタスク完了のためにテキスト情報と視覚情報を統合
Webナビゲーションのための汎用的な計画アプローチ
Seleniumで構築されたオンラインWebブラウジング環境
15のウェブサイトにわたる643の多様なWebタスククエリのデータセット
GAIAデータセットから抽出されたタスク
GPT-4を使用したタスク拡張をサポート
設定可能な実行パラメータ（最大イテレーション、温度、ヘッドレスモード）
GPT-4Vを使用した自動評価プロトコルを含む
分析のためにインタラクションログとスクリーンショットを保存
WebVoyagerをはじめる
環境設定: conda環境を作成し、アクティベートして、`pip install -r requirements.txt`を使用して依存関係をインストールします。
タスクの準備: 希望するテストタスクを`data/tasks_test.jsonl`にコピーします。時間依存のタスクの日付を手動で更新します。
APIキーの設定: `run.sh`スクリプトの`api_key`をOpenAI APIキーで変更します。
WebVoyagerの実行: コマンド`bash run.sh`を使用してエージェントを実行します。
結果の監視: 実行結果については`test_tasks.log`ファイルを確認し、詳細なインタラクションログとスクリーンショットについては`output_dir`を確認します。
WebVoyagerの使用例
- Webタスク自動化
- Webナビゲーション研究
- データ収集
- AIエージェント開発
- ウェブサイトインタラクションテスト
