MMStar
Un conjunto de evaluación de referencia de élite para evaluar modelos de lenguaje visual a gran escala.
Producto ComúnProductividadModelos de lenguaje visualEvaluación de referencia
MMStar es un conjunto de evaluación de referencia diseñado para evaluar la capacidad multimodal de los modelos de lenguaje visual a gran escala. Contiene 1500 muestras cuidadosamente seleccionadas de lenguaje visual, que abarcan 6 capacidades principales y 18 dimensiones específicas. Cada muestra ha sido revisada manualmente para asegurar su dependencia visual, minimizar la fuga de datos y requerir una capacidad multimodal avanzada para su resolución. Además de los indicadores de precisión tradicionales, MMStar propone dos nuevos indicadores para medir la fuga de datos y la ganancia de rendimiento real del entrenamiento multimodal. Los investigadores pueden usar MMStar para evaluar la capacidad multimodal de los modelos de lenguaje visual en múltiples tareas y, con la ayuda de los nuevos indicadores, descubrir posibles problemas en los modelos.
MMStar Situación del tráfico más reciente
Total de visitas mensuales
62
Tasa de rebote
46.00%
Páginas promedio por visita
1.0
Duración promedio de la visita
00:00:00