WebVoyagerは、革新的な大規模マルチモーダルモデル（LMM）を搭載したウェブエージェントです。現実世界のウェブサイトと対話することで、ユーザーの指示をエンドツーエンドで実行します。本研究では、オープンなウェブエージェントタスクの自動評価における課題解決のため、新たな評価プロトコルを提案しました。GPT-4Vの強力なマルチモーダル理解能力を活用し、15の広く利用されているウェブサイトから収集した現実世界のタスクを用いて、エージェントを評価しました。その結果、WebVoyagerは55.7％のタスク成功率を達成し、GPT-4（全ツール使用）やWebVoyager（テキストのみ）を明確に上回る性能を示し、実用における優れた能力を強調しました。また、提案した自動評価と人間の判断との間で85.3％の一致率を確認し、現実世界の環境におけるウェブエージェントの更なる発展への道を拓きました。