ImagenHub
ImagenHub: Inferencia y evaluación de modelos de generación de imágenes condicionales estandarizados
Producto ComúnImagenGeneración de imágenes condicionalesEvaluación de modelos
ImagenHub es una biblioteca integral para la inferencia y evaluación estandarizada de todos los modelos de generación de imágenes condicionales. Este proyecto, en primer lugar, define siete tareas destacadas y crea conjuntos de datos de evaluación de alta calidad. En segundo lugar, construimos una canalización de inferencia unificada para asegurar una comparación justa. En tercer lugar, diseñamos dos métricas de evaluación humana, a saber, la coherencia semántica y la calidad percibida, y elaboramos una guía completa para evaluar las imágenes generadas. Entrenamos a evaluadores expertos para evaluar los resultados de los modelos según las métricas propuestas. Esta evaluación humana logró una alta consistencia interevaluadores en el 76% de los modelos. Evaluamos exhaustivamente aproximadamente 30 modelos y observamos tres hallazgos clave: (1) El rendimiento de los modelos existentes es generalmente insatisfactorio; excepto en la generación de imágenes guiada por texto y la generación de imágenes guiada por temas, el 74% de los modelos obtuvieron una puntuación global inferior a 0,5. (2) Verificamos las afirmaciones de los artículos publicados y encontramos que el 83% de ellas son correctas. (3) A excepción de la generación de imágenes guiada por temas, ninguno de los indicadores de evaluación automática existentes tiene un coeficiente de correlación de Spearman superior a 0,2. En el futuro, continuaremos esforzándonos por evaluar los nuevos modelos publicados y actualizaremos la clasificación para realizar un seguimiento del progreso en el campo de la generación de imágenes condicionales.
ImagenHub Situación del tráfico más reciente
Total de visitas mensuales
12875
Tasa de rebote
69.06%
Páginas promedio por visita
1.2
Duración promedio de la visita
00:01:27