O WebVoyager é um agente de rede inovador impulsionado por um grande modelo multimoderno (LMM) que pode concluir instruções de usuário de ponta a ponta interagindo com sites do mundo real. Apresentamos um novo protocolo de avaliação de agentes de rede para resolver o desafio de avaliação automática de tarefas de agentes de rede abertos, utilizando a poderosa capacidade de compreensão multimoderna do GPT-4V. Coletamos tarefas do mundo real de 15 sites amplamente utilizados para avaliar nosso agente. Mostramos que o WebVoyager atingiu uma taxa de sucesso de 55,7% nas tarefas, superando significativamente o desempenho do GPT-4 (todas as ferramentas) e do WebVoyager (apenas texto), destacando sua capacidade excepcional em aplicações práticas. Descobrimos que nossa avaliação automática alcançou uma concordância de 85,3% com a avaliação humana, abrindo caminho para o desenvolvimento futuro de agentes de rede em ambientes do mundo real.