ZeroBench
ZeroBench é um benchmark visual de alta dificuldade para modelos multimodais de grande porte contemporâneos.
Produto ComumImagemMultimodalBenchmark
ZeroBench é um benchmark projetado para avaliar a capacidade de compreensão visual de Modelos Multimodais de Grande Porte (LMMs). Ele desafia os limites dos modelos atuais com 100 questões complexas cuidadosamente elaboradas e revisadas, além de 334 subquestões. Este benchmark visa preencher as lacunas dos benchmarks visuais existentes, fornecendo uma ferramenta de avaliação mais desafiadora e de alta qualidade. As principais vantagens do ZeroBench são sua alta dificuldade, leveza, diversidade e alta qualidade, permitindo a diferenciação eficaz do desempenho dos modelos. Além disso, ele fornece uma avaliação detalhada das subquestões, ajudando os pesquisadores a entender melhor a capacidade de raciocínio dos modelos.