ZeroBenchは、大規模マルチモーダルモデル（LMMs）の視覚理解能力を評価するために設計されたベンチマークです。100個の厳選された、厳格に審査された複雑な問題と、334個のサブ問題を通して、現在のモデルの限界に挑戦します。本ベンチマークは、既存のビジュアルベンチマークの不足を補い、より挑戦的で質の高い評価ツールを提供することを目指しています。ZeroBenchの主な利点は、その高難易度、軽量性、多様性、高品質であり、モデルのパフォーマンスを効果的に区別することができます。さらに、詳細なサブ問題評価を提供し、研究者がモデルの推論能力をより深く理解するのに役立ちます。