ZeroBench ist ein Benchmark, der speziell zur Bewertung des visuellen Verständnisses großer multimodaler Modelle (LMMs) entwickelt wurde. Mit 100 sorgfältig ausgewählten und streng geprüften komplexen Fragen sowie 334 Unterfragen stellt er aktuelle Modelle vor große Herausforderungen. Dieser Benchmark soll die Schwächen bestehender visueller Benchmarks ausgleichen und ein anspruchsvolleres und qualitativ hochwertigeres Bewertungswerkzeug bieten. Die Hauptvorteile von ZeroBench sind sein hoher Schwierigkeitsgrad, seine Leichtigkeit, seine Vielseitigkeit und seine hohe Qualität, wodurch die Leistungsfähigkeit von Modellen effektiv unterschieden werden kann. Darüber hinaus bietet er eine detaillierte Bewertung der Unterfragen, die es Forschern ermöglicht, die Inferenzfähigkeit von Modellen besser zu verstehen.