WebVoyager ist ein innovativer, von einem großen multimodalen Modell (LMM) angetriebener Webagent, der Benutzeranweisungen durch Interaktion mit realen Websites End-to-End erfüllen kann. Wir stellen ein neues Protokoll zur Bewertung von Webagenten vor, um die Herausforderung der automatischen Bewertung von offenen Webagenturaufgaben zu lösen und nutzen dabei die leistungsstarke multimodale Verständnisfähigkeit von GPT-4V. Zur Bewertung unseres Agenten haben wir reale Aufgaben von 15 weit verbreiteten Websites gesammelt. Wir zeigen, dass WebVoyager eine Aufgaben-Erfolgsrate von 55,7 % erreicht, was die Leistung von GPT-4 (mit allen Tools) und WebVoyager (nur Text) deutlich übertrifft und die herausragende Fähigkeit von WebVoyager in der Praxis unterstreicht. Wir haben festgestellt, dass unsere vorgeschlagene automatische Bewertung eine Übereinstimmung von 85,3 % mit menschlichen Beurteilungen erreicht, was den Weg für die Weiterentwicklung von Webagenten in realen Umgebungen ebnet.