WebVoyager es un innovador agente web impulsado por un modelo de lenguaje multimodal a gran escala (LMM) capaz de completar instrucciones de usuario de extremo a extremo mediante la interacción con sitios web del mundo real. Presentamos un nuevo protocolo de evaluación de agentes web para abordar el desafío de la evaluación automática de tareas de agentes web abiertos, aprovechando la potente capacidad de comprensión multimodal de GPT-4V. Hemos recopilado tareas del mundo real de 15 sitios web ampliamente utilizados para evaluar nuestro agente. Demostramos que WebVoyager logra una tasa de éxito del 55,7% en las tareas, superando significativamente el rendimiento de GPT-4 (con todas las herramientas) y WebVoyager (solo texto), destacando su excelente capacidad en aplicaciones reales. Hemos encontrado que nuestra evaluación automática coincide con el juicio humano en un 85,3%, allanando el camino para un mayor desarrollo de agentes web en entornos del mundo real.