ZeroBench est un benchmark conçu pour évaluer la capacité de compréhension visuelle des grands modèles multimodaux (LMM). Il met au défi les modèles actuels avec 100 questions complexes soigneusement conçues et revues, ainsi que 334 sous-questions. Ce benchmark vise à combler les lacunes des benchmarks visuels existants en offrant un outil d'évaluation plus stimulant et de haute qualité. Les principaux atouts de ZeroBench sont sa difficulté élevée, sa légèreté, sa diversité et sa haute qualité, lui permettant de différencier efficacement les performances des modèles. De plus, il fournit une évaluation détaillée des sous-questions, aidant les chercheurs à mieux comprendre les capacités de raisonnement des modèles.